特許 7386900 評価装置、方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-16

(45)【発行日】2023-11-27

(54)【発明の名称】評価装置、方法、およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231117BHJP

【ＦＩ】

G06T7/00 660A

【請求項の数】 6

(21)【出願番号】P 2021566125

(86)(22)【出願日】2021-09-10

(86)【国際出願番号】 JP2021033301

(87)【国際公開番号】W WO2023007755

(87)【国際公開日】2023-02-02

【審査請求日】2021-11-05

【審判番号】

【審判請求日】2023-05-31

(31)【優先権主張番号】P 2021122130

(32)【優先日】2021-07-27

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001959

【氏名又は名称】株式会社 資生堂

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】那須 美恵子

(72)【発明者】

【氏名】旭 啓之

(72)【発明者】

【氏名】高橋 明子

【合議体】

【審判長】五十嵐 努

【審判官】板垣 有紀

【審判官】高橋 宣博

(56)【参考文献】

【文献】特開２００６－１４２００５（ＪＰ，Ａ）

【文献】特開２００５－１４８７９７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06T 7/00-7/90

G06V 10/00-20/90

G06V 30/418

G06V 40/16

G06V 40/20

(57)【特許請求の範囲】

【請求項1】

顔を示す顔データを取得する顔画像取得部と、
前記顔データをもとに、前記顔の特徴を示すしわ指標とたるみ指標について評価する指標評価部と、
前記しわ指標と前記たるみ指標についての評価結果をもとに、複数の類型のうちのいずれの類型に属するかを判断する総合指標評価部と
を備え、
前記しわ指標と前記たるみ指標は、年齢に比例し、
前記類型は、前記しわ指標のレベルと前記たるみ指標のレベルをもとに分類された類型であり、かつ、年齢に依拠しない類型である、評価装置。

【請求項2】

前記顔の状態の評価結果に応じた美容情報を提示する提示部、をさらに備えた請求項１に記載の評価装置。

【請求項3】

前記しわ指標と前記たるみ指標は、前記顔の状態を示す複数の指標の評価結果をもとに評価される、請求項１または２に記載の評価装置。

【請求項4】

前記顔データは、前記顔の３次元形状を示す画像である、請求項１から３のいずれか一項に記載の評価装置。

【請求項5】

評価装置が実行する方法であって、
顔を示す顔データを取得するステップと、
前記顔データをもとに、前記顔の特徴を示すしわ指標とたるみ指標について評価するステップと、
前記しわ指標と前記たるみ指標についての評価結果をもとに、複数の類型のうちのいずれの類型に属するかを判断するステップと
を含み、
前記しわ指標と前記たるみ指標は、年齢に比例し、
前記類型は、前記しわ指標のレベルと前記たるみ指標のレベルをもとに分類された類型であり、かつ、年齢に依拠しない類型である、方法。

【請求項6】

評価装置を、
顔を示す顔データを取得する顔画像取得部、
前記顔データをもとに、前記顔の特徴を示すしわ指標とたるみ指標について評価する指標評価部、
前記しわ指標と前記たるみ指標についての評価結果をもとに、複数の類型のうちのいずれの類型に属するかを判断する総合指標評価部
として機能させ、
前記しわ指標と前記たるみ指標は、年齢に比例し、
前記類型は、前記しわ指標のレベルと前記たるみ指標のレベルをもとに分類された類型であり、かつ、年齢に依拠しない類型である、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、評価装置、方法、およびプログラムに関する。

【背景技術】

【0002】

従来、顔の画像をもとに、顔の状態を評価することが知られている。例えば、特許文献１では、ユーザ毎に異なる種類のシワを評価する手法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６３４３６１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の手法では、しみ、しわ、たるみといった各々の指標に基づいた顔の状態の評価しかできず、顔の状態を総合的に評価できることが望まれていた。

【0005】

そこで、本発明では、顔の状態を総合的に評価することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様である評価装置は、顔を示す顔データを取得する顔画像取得部と、前記顔データをもとに、前記顔の特徴を示す複数の指標について評価する指標評価部と、前記複数の指標についての評価結果をもとに、前記複数の指標に基づく総合指標について評価する総合指標評価部と、を備える。

【発明の効果】

【0007】

本発明によれば、顔の状態を総合的に評価することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の一実施形態に係る全体の構成図である。

【図2】本発明の一実施形態に係る評価装置の機能ブロック図である。

【図3】本発明の一実施形態に係る３Ｄワイヤーフレーム画像である。

【図4】本発明の一実施形態に係るしわ指標とたるみ指標の算出について説明するための図である。

【図5】本発明の一実施形態に係るしわ指標とたるみ指標から顔の状態を解析した結果を示す図である。

【図6】本発明の一実施形態に係るしわ指標とたるみ指標から顔の状態を解析した結果を示す図である。

【図7】本発明の一実施形態に係る評価処理のフローチャートである。

【図8】本発明の一実施形態に係る評価装置のハードウェア構成の一例を示すブロック図である。

【発明を実施するための形態】

【0009】

以下、図面に基づいて本発明の実施の形態を説明する。

【0010】

＜概要＞
・本発明では、顔を示す顔データを用いて顔の状態を評価することができる。「顔データ」とは、顔（例えば、顔の形状）を示すデータである。例えば、「顔データ」は、顔の画像、あるいは、顔を測定した値（例えば、３次元形状測定機が測定した値）である。本明細書では、「顔の画像」を用いて顔の状態を評価する実施形態を説明するが、本発明は、「顔の画像」だけでなく「顔を測定した値」を用いた顔の状態の評価にも適用することができる。
・例えば、顔の画像は、顔の３次元形状を示す画像、化粧品の販売店の店頭等で用いられる肌を測定する機器が撮影した拡大画像、デジタルカメラ等のカメラが撮影した画像等である。
・例えば、顔の３次元形状を示す画像は、顔が撮影された１つまたは複数の画像（つまり、２次元の１つまたは複数の画像）から構築された３次元形状をもとに生成された画像（つまり、２次元の画像が加工された画像）である。また、例えば、顔の３次元形状を示す画像は、３次元形状測定機が測定した値をもとに生成された画像である。
・本開示の一実施形態では、複数の方向から顔が撮影された複数の２次元の画像から、顔の３次元形状を構築することができる。

【0011】

＜全体の構成＞
図１は、本発明の一実施形態に係る全体の構成図である。

【0012】

評価装置１０は、対象者２０の顔の状態を評価するための装置（例えば、化粧品の販売店の店頭に設置される、顔の３次元形状を測定して顔の状態を解析する機能を備えた装置）である。具体的には、評価装置１０は、対象者２０の顔の画像をもとに、顔の状態を示す複数の指標（例えば、目尻のシワ、目の下のシワ、額のシワ、眉間のシワ、マリオネットライン、眼袋、鼻唇溝（ほうれい線））について評価し、該顔の状態を示す複数の指標の評価結果をもとに、顔の特徴を示す複数の指標（例えば、しわ指標とたるみ指標の２つ）について評価し、該顔の特徴を示す複数の指標の評価結果をもとに、総合指標（複数の指標に基づく総合的な指標）を評価する。後段で、図２を参照しながら、評価装置１０について詳細に説明する。

【0013】

＜機能ブロック＞
図２は、本発明の一実施形態に係る評価装置１０の機能ブロック図である。評価装置１０は、顔画像取得部１０１と、第１指標評価部１０２と、第２指標評価部１０３と、総合指標評価部１０４と、提示部１０５と、を備えることができる。また、評価装置１０は、プログラムを実行することで、顔画像取得部１０１、第１指標評価部１０２、第２指標評価部１０３、総合指標評価部１０４、提示部１０５として機能することができる。以下、それぞれについて説明する。

【0014】

顔画像取得部１０１は、対象者２０の顔の画像を取得する。

【0015】

なお、評価装置１０が対象者２０の顔を撮影してもよいし、評価装置１０以外の装置が対象者２０の顔を撮影してもよい（この場合、評価装置１０は、評価装置１０以外の装置が撮影した顔の画像を取得する）。

【0016】

図３は、本発明の一実施形態に係る３Ｄワイヤーフレーム画像である。例えば、顔画像取得部１０１は、図３のような３Ｄワイヤーフレーム画像を取得することができる。

【0017】

図２の説明に戻る。

【0018】

第１指標評価部１０２は、顔画像取得部１０１が取得した画像をもとに、顔の状態を示す複数の指標（例えば、目尻のシワ、目の下のシワ、額のシワ、眉間のシワ、マリオネットライン、眼袋、鼻唇溝（ほうれい線））について評価する。具体的には、第１指標評価部１０２は、顔画像取得部１０１が取得した画像の画像処理を行う。

【0019】

第２指標評価部（指標評価部ともいう）１０３は、顔の状態を示す複数の指標（例えば、目尻のシワ、目の下のシワ、額のシワ、眉間のシワ、マリオネットライン、眼袋、鼻唇溝（ほうれい線））の評価結果をもとに、顔の特徴を示す複数の指標（例えば、しわ指標とたるみ指標の２つ）について評価する。

【0020】

＜＜しわ指標とたるみ指標＞＞
ここで、顔の特徴を示す複数の指標について説明する。例えば、顔の特徴を示す複数の指標は、しわ指標とたるみ指標の２つである。

【0021】

しわ指標は、しわの状態を示す指標である。しわ指標は、顔の状態を示す複数の指標（具体的には、目尻のシワ、目の下のシワ、額のシワ、眉間のシワ）の評価結果をもとに評価される。

【0022】

たるみ指標は、たるみの状態を示す指標である。たるみ指標は、顔の状態を示す複数の指標（具体的には、マリオネットライン、眼袋、鼻唇溝（ほうれい線））の評価結果をもとに評価される。

【0023】

図４は、本発明の一実施形態に係るしわ指標とたるみ指標の算出について説明するための図である。しわ指標とたるみ指標は、顔の状態を示す複数の指標の評価結果（図４の各項目（肌の悩み）のスコア）から算出される。以下、具体的に説明する。

【0024】

しわ指標は、「１．目尻のシワのスコア（Ｘ１）」と、「２．目の下のシワのスコア（Ｘ２）」と、「３．額のシワのスコア（Ｘ３）」と、「４．眉間のシワのスコア（Ｘ４）」と、から算出（しわ指標をｆ１とすると、ｆ１（Ｘ１，Ｘ２，Ｘ３，Ｘ４））される。なお、スコアは、各項目（肌の悩み）を数値化したものであり、顔の画像の画像処理により算出される。

【0025】

たるみ指標は、「５．マリオネットラインのスコア（Ｘ５）」と、「６．眼袋のスコア（Ｘ６）」と、「８．鼻唇溝（ほうれい線）のスコア（Ｘ８）」と、から算出（たるみ指標をｆ２とすると、ｆ２（Ｘ５，Ｘ６，Ｘ８））される。なお、スコアは、各項目（肌の悩み）を数値化したものであり、顔の画像の画像処理により算出される。

【0026】

図２の説明に戻る。

【0027】

総合指標評価部１０４は、第２指標評価部１０３が評価した複数の指標についての評価結果をもとに、総合指標について評価する。例えば、総合指標評価部１０４は、対象者２０が複数の類型のうちのいずれの類型に属するかを判断する。

【0028】

＜＜総合指標＞＞
ここで、総合指標について説明する。総合指標は、複数の指標（例えば、しわ指標とたるみ指標の２つ）に基づく総合的な指標である。例えば、総合指標は、しわ指標のレベルとたるみ指標のレベルをもとに分類された複数の類型である。図５および図６を参照しながら、総合指標について詳細に説明する。

【0029】

図５は、本発明の一実施形態に係るしわ指標とたるみ指標から顔の状態を解析した結果を示す図である。１０代～５０代の被験者のしわ指標とたるみ指標を算出したところ、図５のような結果が得られた。図５では、図４の手法により算出されたしわ指標：ｆ１のスコア、および、図４の手法により算出されたたるみ指標：ｆ２のスコア、の各年齢の平均値を示す。図５に示されるように、しわ、たるみともに、年齢に比例して増加している。

【0030】

図６は、本発明の一実施形態に係るしわ指標とたるみ指標から顔の状態を解析した結果を示す図である。

【0031】

図６に示されるように、しわ指標を４つのレベル（Level １、Level ２、Level ３、Level ４）に分け、たるみ指標を４つのレベル（Level １、Level ２、Level ３、Level ４）に分けて、被験者の顔の肌の状態を１６の類型（Ａａ、Ｂａ、Ｃａ、Ｄａ、Ａｂ、Ｂｂ、Ｃｂ、Ｄｂ、Ａｃ、Ｂｃ、Ｃｃ、Ｄｃ、Ａｄ、Ｂｄ、Ｃｄ、Ｄｄ）に分類することができた。

【0032】

図６では、２０歳から４０歳の被験者の、図４の手法により算出されたしわ指標：ｆ１のスコアおよび図４の手法により算出されたたるみ指標：ｆ２のスコアの分布を示す。このように、同じ年代の被験者であっても、各々の被験者が、種々の類型に属することが分かる。

【0033】

図２の説明に戻る。総合指標評価部１０４は、対象者２０が複数の類型（例えば、図６で説明した１６の類型）のうちのいずれの類型に属するかを判断することができる。

【0034】

例えば、総合指標評価部１０４は、対象者２０が複数の類型のうちのいずれの類型に属するかをもとに、対象者２０の顔の状態を評価する（例えば、顔の状態がどのような状態（しわの状態およびたるみの状態に基づく総合的な状態）であるかを判定する）。

【0035】

提示部１０５は、総合指標評価部１０４が評価した結果を提示（例えば、評価装置１０または評価装置１０以外の装置の表示手段に表示）する。例えば、提示部１０５は、対象者２０が、しわ指標のレベルとたるみ指標のレベルをもとに分類された複数の類型のうちのいずれの類型に属するかを提示する。また、例えば、提示部１０５は、対象者２０の顔の状態を提示する（例えば、顔の状態がどのような状態（しわの状態およびたるみの状態に基づく総合的な状態）であるかを提示する）。また、例えば、提示部１０５は、対象者２０のしわ指標のレベルとたるみ指標のレベルを提示する。また、例えば、提示部１０５は、対象者２０のしわ指標を算出するために用いられた項目（具体的には、目尻のシワ、目の下のシワ、額のシワ、眉間のシワ）の各スコアを提示する。また、例えば、提示部１０５は、対象者２０のたるみ指標を算出するために用いられた項目（具体的には、マリオネットライン、眼袋、鼻唇溝（ほうれい線））の各スコアを提示する。

【0036】

提示部１０５は、総合指標評価部１０４が評価した顔の状態の評価結果に応じた美容情報を提示（例えば、評価装置１０または評価装置１０以外の装置の表示手段に表示）する。なお、美容情報は、対象者２０に推奨する美容機器のモード、美容機器、美容法（例えば、マッサージ、顔の筋力トレーニング、保湿）、化粧品、サプリメント等の美容に関する情報である。

【0037】

＜方法＞
図７は、本発明の一実施形態に係る評価処理のフローチャートである。

【0038】

ステップ１０１（Ｓ１０１）において、評価装置１０の顔画像取得部１０１は、対象者２０の顔の画像を取得する。

【0039】

ステップ１０２（Ｓ１０２）において、評価装置１０の第１指標評価部１０２は、Ｓ１０１で取得された画像をもとに、顔の状態を示す複数の指標（例えば、目尻のシワ、目の下のシワ、額のシワ、眉間のシワ、マリオネットライン、眼袋、鼻唇溝（ほうれい線））について評価する。

【0040】

ステップ１０３（Ｓ１０３）において、評価装置１０の第２指標評価部１０３は、Ｓ１０２で評価された結果をもとに、顔の特徴を示す複数の指標（例えば、しわ指標とたるみ指標の２つ）について評価する。なお、しわ指標は、顔の状態を示す複数の指標（具体的には、目尻のシワ、目の下のシワ、額のシワ、眉間のシワ）の評価結果をもとに評価される、しわの状態を示す指標である。また、たるみ指標は、顔の状態を示す複数の指標（具体的には、マリオネットライン、眼袋、鼻唇溝（ほうれい線））の評価結果をもとに評価される、たるみの状態を示す指標である。

【0041】

ステップ１０４（Ｓ１０４）において、評価装置１０の総合指標評価部１０４は、Ｓ１０３で評価された複数の指標についての評価結果をもとに、総合指標について評価する。総合指標は、複数の指標に基づく総合的な指標である。

【0042】

ステップ１０５（Ｓ１０５）において、評価装置１０の提示部１０５は、Ｓ１０４で評価された結果に応じた美容情報を提示（例えば、評価装置１０または評価装置１０以外の装置の表示手段に表示）する。

【0043】

＜効果＞
本発明の一実施形態では、しわ指標とたるみ指標の２つについての評価結果をもとに、総合指標（しわ指標とたるみ指標に基づく総合的な指標）について評価することができる。しわ指標とたるみ指標の２つの組み合わせで肌の状態を解析するため、"しわ"のみの評価、あるいは、"たるみ"のみの評価といった１つの指標に基づく評価よりも、総合的に顔の状態を評価することができる。

【0044】

＜ハードウェア構成＞
図８は、本発明の一実施形態に係る評価装置１０のハードウェア構成の一例を示すブロック図である。評価装置１０は、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３を有する。ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３は、いわゆるコンピュータを形成する。

【0045】

また、評価装置１０は、補助記憶装置１００４、表示装置１００５、操作装置１００６、Ｉ／Ｆ（Interface）装置１００７、ドライブ装置１００８を有することができる。なお、評価装置１０の各ハードウェアは、バスＢを介して相互に接続されている。

【0046】

ＣＰＵ１００１は、補助記憶装置１００４にインストールされている各種プログラムを実行する演算デバイスである。

【0047】

ＲＯＭ１００２は、不揮発性メモリである。ＲＯＭ１００２は、補助記憶装置１００４にインストールされている各種プログラムをＣＰＵ１００１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ１００２はＢＩＯＳ（Basic Input /Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。

【0048】

ＲＡＭ１００３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ１００３は、補助記憶装置１００４にインストールされている各種プログラムがＣＰＵ１００１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。

【0049】

補助記憶装置１００４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。

【0050】

表示装置１００５は、評価装置１０の内部状態等を表示する表示デバイスである。

【0051】

操作装置１００６は、評価装置１０の管理者が評価装置１０に対して各種指示を入力する入力デバイスである。

【0052】

Ｉ／Ｆ装置１００７は、ネットワークに接続し、他の装置と通信を行うための通信デバイスである。

【0053】

ドライブ装置１００８は記憶媒体１０１０をセットするためのデバイスである。ここでいう記憶媒体１０１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記憶媒体１０１０には、ＥＰＲＯＭ (Erasable Programmable Read Only Memory)、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

【0054】

なお、補助記憶装置１００４にインストールされる各種プログラムは、例えば、配布された記憶媒体１０１０がドライブ装置１００８にセットされ、該記憶媒体１０１０に記録された各種プログラムがドライブ装置１００８により読み出されることでインストールされる。あるいは、補助記憶装置１００４にインストールされる各種プログラムは、Ｉ／Ｆ装置１００７を介して、ネットワークよりダウンロードされることでインストールされてもよい。

【0055】

画像取得装置１００９は、対象者２０の顔を撮影する装置である。

【0056】

以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【0057】

本国際出願は２０２１年７月２７日に出願された日本国特許出願２０２１－１２２１３０号に基づく優先権を主張するものであり、２０２１－１２２１３０号の全内容をここに本国際出願に援用する。

【符号の説明】

【0058】

１０ 評価装置
２０ 対象者
１０１ 顔画像取得部
１０２ 第１指標評価部
１０３ 第２指標評価部
１０４ 総合指標評価部
１０５ 提示部
１００１ ＣＰＵ
１００２ ＲＯＭ
１００３ ＲＡＭ
１００４ 補助記憶装置
１００５ 表示装置
１００６ 操作装置
１００７ Ｉ／Ｆ装置
１００８ ドライブ装置
１００９ 画像取得装置
１０１０ 記憶媒体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】