(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024092851
(43)【公開日】2024-07-08
(54)【発明の名称】顔分析方法、顔分析装置、およびプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240701BHJP
G06T 19/00 20110101ALI20240701BHJP
【FI】
G06T7/00 660A
G06T19/00 A
G06T7/00 C
【審査請求】未請求
【請求項の数】17
【出願形態】OL
(21)【出願番号】P 2022209046
(22)【出願日】2022-12-26
(71)【出願人】
【識別番号】000001959
【氏名又は名称】株式会社 資生堂
(71)【出願人】
【識別番号】504176911
【氏名又は名称】国立大学法人大阪大学
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】森田 愛
(72)【発明者】
【氏名】関根 春奈
(72)【発明者】
【氏名】森 聖子
(72)【発明者】
【氏名】塩見(谷川) 千尋
【テーマコード(参考)】
5B050
5L096
【Fターム(参考)】
5B050BA09
5B050BA12
5B050DA04
5B050EA09
5B050EA18
5B050EA28
5B050FA05
5L096AA02
5L096AA06
5L096AA09
5L096BA08
5L096FA69
5L096GA40
5L096JA11
5L096KA04
5L096MA07
(57)【要約】
【課題】顔の分析の精度を向上させる。
【解決手段】本発明の一実施形態である方法は、顔の3次元形状情報および色情報を取得することと、取得した前記3次元形状情報および前記色情報を用いて、前記顔の3次元形状および色から生成された顔3次元モデルを、顔の形態的特徴を利用して同一頂点数のメッシュが貼られた、相同性が確保されたメッシュデータへと変換することと、前記メッシュデータ上の座標情報と色情報基づいて、前記顔を分析することと、を含む。
【選択図】
図9
【特許請求の範囲】
【請求項1】
顔の3次元形状情報および色情報を取得することと、
取得した前記3次元形状情報および前記色情報を用いて、前記顔の3次元形状および色から生成された顔3次元モデルを、顔の形態的特徴を利用して同一頂点数のメッシュが貼られた、相同性が確保されたメッシュデータへと変換することと、
前記メッシュデータ上の座標情報と色情報に基づいて、前記顔を分析することと
を含む方法。
【請求項2】
前記3次元形状情報は、前記顔の各点のx座標、y座標、z座標の値であり、前記色情報は、前記各点におけるRGBの値またはCMYKの値である、請求項1に記載の方法。
【請求項3】
前記分析は、
複数の者の前記相同性が確保されたメッシュデータにおける3次元形状に対して主成分分析を実施し、
前記複数の者の前記相同性が確保されたメッシュデータにおける色に対して主成分分析を実施し、
前記3次元形状の主成分と前記色の主成分を用いた多変量解析を実施することである、請求項1または2に記載の方法。
【請求項4】
前記分析は、前記3次元形状と前記色の多変量解析を実施することである、請求項1または2に記載の方法。
【請求項5】
前記3次元形状の主成分と前記色の主成分を用いた正準相関分析を実施し、前記3次元形状と前記色の関係を分析する、請求項1または2に記載の方法。
【請求項6】
前記3次元形状と前記色を用いた正準相関分析を実施し、前記3次元形状と前記色の関係を分析する、請求項1または2に記載の方法。
【請求項7】
顔の3次元形状情報および色情報およびメイクアップアーティストによる印象評価に基づいて、被験者の顔の印象を推定する数理モデルを作成することをさらに含む、請求項1または2に記載の方法。
【請求項8】
顔の3次元形状情報および色情報およびメイクアップアーティストによる見た目年齢評価に基づいて、被験者の顔の見た目年齢を推定する数理モデルを作成することをさらに含む、請求項1または2に記載の方法。
【請求項9】
被験者の顔の3次元形状情報および色情報に基づいて、前記数理モデルを用いて前記被験者の顔の印象を推定することをさらに含む、請求項7に記載の方法。
【請求項10】
被験者の顔の3次元形状情報および色情報に基づいて、前記数理モデルを用いて前記被験者の顔の見た目年齢を推定することをさらに含む、請求項8に記載の方法。
【請求項11】
前記分析は、複数の者の相同モデル化した3次元形状および色に基づいて、前記複数の者の顔を複数のクラスターに分類することである、請求項1または2に記載の方法。
【請求項12】
前記分類は、目の分類、鼻の分類、口の分類を含む、請求項11に記載の方法。
【請求項13】
被験者の顔の3次元形状情報および色情報に基づいて、前記被験者の顔がいずれのクラスターに属するかを判断することをさらに含む、請求項11に記載の方法。
【請求項14】
前記分析は、第1の年代の複数の者の相同性が確保されたメッシュデータにおける3次元形状および色の平均値と、第2の年代の複数の者の相同性が確保されたメッシュデータにおける3次元形状および色の平均値と、の差を分析することである、請求項1または2に記載の方法。
【請求項15】
顔の3次元形状情報および色情報を取得する取得部と、
取得した前記3次元形状情報および前記色情報を用いて顔3次元モデルを作成し、顔の形態的特徴を利用して、前記3次元モデル上に同一頂点数のメッシュが貼られた、相同性が確保されたメッシュデータへと変換するメッシュデータ変換部と、
前記メッシュデータ上の座標情報と色情報に基づいて、前記顔を分析する分析部と
を備えた評価装置。
【請求項16】
評価装置を
顔の3次元形状情報および色情報を取得する取得部、
取得した前記3次元形状情報および前記色情報を用いて顔3次元モデルを作成し、顔の形態的特徴を利用して、前記3次元モデル上に同一頂点数のメッシュが貼られた、相同性が確保されたメッシュデータへと変換するメッシュデータ変換部、
前記メッシュデータ上の座標情報と色情報に基づいて、前記顔を分析する分析部
として機能させるためのプログラム。
【請求項17】
顔分析装置と、顔測定装置と、変換装置と、を含む顔分析システムであって、
顔の3次元形状情報および色情報を取得する取得部と、
取得した前記3次元形状情報および前記色情報を用いて顔3次元モデルを作成し、顔の形態的特徴を利用して、前記3次元モデル上に同一頂点数のメッシュが貼られた、相同性が確保されたメッシュデータへと変換するメッシュデータ変換部と、
前記メッシュデータ上の座標情報と色情報に基づいて、前記顔を分析する分析部と
を備えた顔分析システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顔分析方法、顔分析装置、およびプログラムに関する。
【背景技術】
【0002】
従来、人間の顔の形状に基づいて当該顔を分析することが知られている。例えば、特許文献1では、複数人の母集団の顔表面の三次元形状から生成した相同モデルを用いて、被験者の顔表面の形状を表す顔形状情報から、被験者の顔の造作の印象傾向の度合いを求めて、被験者の顔の印象を分析している。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、人間の顔を特徴づけるものは顔の形状だけではないため、より高精度に顔を分析できることが求められていた。
【0005】
そこで、本発明では、顔の分析の精度を向上させることを目的とする。
【課題を解決するための手段】
【0006】
本発明の一実施形態である方法は、顔の3次元形状情報および色情報を取得することと、取得した前記3次元形状情報および前記色情報を用いて、前記顔の3次元形状および色から生成された顔3次元モデルを、顔の形態的特徴を利用して同一頂点数のメッシュが貼られた、相同性が確保されたメッシュデータへと変換することと、前記メッシュデータ上の座標情報と色情報に基づいて、前記顔を分析することと、を含む。
【発明の効果】
【0007】
本発明によれば、顔の分析の精度を向上させることができる。また、顔の3次元形状と色の関係を把握して、新たな顔に関する分析を行うことができる。
【図面の簡単な説明】
【0008】
【
図1】本発明の一実施形態に係る相同モデル化の手続きについて説明するための図である。
【
図2】本発明の一実施形態に係る顔の3次元形状と色の関係について説明するための図である。
【
図3】本発明の一実施形態に係る顔の3次元形状と色の関係について説明するための図である。
【
図4】本発明の一実施形態に係る顔の3次元形状と色の関係について説明するための図である。
【
図5】本発明の一実施形態に係る顔の3次元形状と色に基づく顔の分類について説明するための図である。
【
図6】本発明の一実施形態に係る顔の3次元形状と色に基づく顔の分類について説明するための図である。
【
図7】本発明の一実施形態に係る顔の3次元形状と色に基づく顔の分類について説明するための図である。
【
図8】本発明の一実施形態に係る顔の3次元形状と色に基づく顔の分類について説明するための図である。
【
図9】本発明の一実施形態に係る顔を分析する処理の全体の流れを示すフローチャートである。
【
図10】本発明の一実施形態に係る顔の3次元形状と色の関係を分析する処理(第1の分析例)のフローチャートである。
【
図11】本発明の一実施形態に係る被験者の顔の印象を推定する処理のフローチャートである。
【
図12】本発明の一実施形態に係る被験者の顔の見た目年齢を推定する処理のフローチャートである。
【
図13】本発明の一実施形態に係る顔を複数のクラスターに分類する処理(第2の分析例)のフローチャートである。
【
図14】本発明の一実施形態に係る被験者の顔がいずれのクラスターに属するかを判断する処理のフローチャートである。
【
図15】本発明の一実施形態に係る顔の3次元形状と色の年代間の差を分析する処理(第3の分析例)のフローチャートである。
【
図16】本発明の一実施形態に係る全体の構成例である。
【
図17】本発明の一実施形態に係る顔分析システムの機能ブロック図である。
【
図18】本発明の一実施形態に係る顔分析装置のハードウェア構成図である。
【発明を実施するための形態】
【0009】
以下、図面に基づいて本発明の実施の形態を説明する。
【0010】
<用語の説明>
本明細書において、「相同モデル化(相同モデリングとも呼ばれる)」とは、各々の者の人体の形状を解剖学的な意味を有する同一の点の数および同一の位相幾何学構造(つまり、全ての者の間で共通の点の数および共通の位相幾何学構造)のポリゴン(多面体)で表現することをいう。そのため、人体特有の解剖学的な相同性を表現することができる。本発明の一実施形態では、相同モデル化により抽出された各頂点の3次元座標と、各頂点の色の情報と、を用いて顔を分析することができる。
【0011】
なお、本発明の一実施形態では、"顔の形態的特徴を利用して同一頂点数のメッシュが貼られた、相同性が確保されたメッシュデータへと変換する"技術の一実施形態として、「相同モデル」を利用することができる。本明細書では、「相同モデル」を利用する実施形態を説明するが、本発明では、任意の"顔の形態的特徴を利用して同一頂点数のメッシュが貼られた、相同性が確保されたメッシュデータへと変換する"技術を利用することができる。
【0012】
まず、複数の者の顔を相同モデル化して分析した結果(<3次元形状と色の関係><3次元形状と色に基づく分類><3次元形状と色の年代間の差>)について説明する。
【0013】
顔の相同モデル化について説明する。35歳から39歳の100名の女性および40歳から44歳の100名の女性の計200名の者の顔の3次元形状および色を測定した。測定した3次元形状の情報を用いて顔の形状を相同モデル化して、相同モデル化された形状の各点に、測定した色の情報(当該点に対応する色の情報)を付与した。なお、不良データや欠損データを除く、166名の者の顔のデータを用いた。
図1に示す58のランドマーク(解剖学的な特徴点)を設定して相同モデル化した。相同モデルの点の数は584063であった。
【0014】
<3次元形状と色の関係>
顔の3次元形状と色の関係について説明する。
【0015】
[主成分分析]
上記の166名分の相同モデル(点の数:584063)の3次元形状の情報(x座標、y座標、z座標の値)および色の情報(RGB(Red、Green、Blue)の値)に対して主成分分析を実施し、3次元形状と色のそれぞれの上位20個の主成分(各PC1~PC20)を抽出した。
【0016】
[正準相関分析]
3次元形状と色のそれぞれの主成分を用いて、正準相関分析にて3次元形状と色の関係を分析した。その結果、顔の3次元形状と顔の色に11種類の有意な相関(正準相関)があった。以下、それぞれの相関(正準相関)について説明する。
【0017】
[相関(正準相関)がある顔の3次元形状と顔の色]
1:顔の前後径が大きいほど頬の影が大きい。
2:下唇が突出する場合、下唇の下の影がある。
3:Facial adiposity(顔の肥満)では、顔の赤みが増す(高血圧傾向との関連が示唆された)。
4:目と口角が上向き、鼻が広い場合、色が白い。
5:幅広い骨格では顔に赤みが大きい。
6:眼窩のくぼみがある場合、眼窩のくすみがあり、眉毛の下方が白い。
7:中顔面の陥凹がある場合、眼窩下部のくすみがある。
8:目が鼻根部より前方に位置する場合、目の上が白く、眉が細い。
9:頬部が前突している場合、目の下のシミがある。
10:たるんでいる顔の形の人は眉毛が薄い。
11:眼窩の陥凹がある場合、眼窩下部のくすみがある。
【0018】
図2~
図4は、上記の「1:顔の前後径が大きいほど頬の影が大きい」を示す。
図2は、色との間で有意な相関がある3次元形状の正準変量(ここでは、顔の前後径の形態変化を主な特徴とする合成変数)の-3SD(標準偏差)の形状(つまり、前後径が大きい形状)と+3SD(標準偏差)の形状(つまり、前後径が小さい形状)とを重畳して表示したものである。
図3は、
図2で示した3次元形状の正準変量と高い相関が認められた色情報の正準変量(ここでは、頬部位の影の変化を主な特徴とする合成変数)を説明する画像であり、-3SD(標準偏差)の色情報を平均顔形状(3次元形状の平均値を有する平均顔)に張り付けた画像(つまり、頬部位の影が大きい顔画像)を左に、+3SD(標準偏差)の色情報を平均顔形状(3次元形状の平均値を有する平均顔)に張り付けた画像(つまり、頬部位の影が小さい顔画像)を右に示す。
図4は、
図2に示した正準変量の-3SDの形状に、
図3で示した正準変量の-3SDの色情報を付与した画像を上に、
図2に示した正準変量の+3SDの形状に、
図3で示した正準変量の+3SDの色情報を付与した画像を下に示す。
図4にて示されるように、顔の前後径が大きいほど頬の影が大きく、顔の前後径が小さいほど頬の影が小さいことが分かる。
【0019】
[顔の印象][顔の見た目年齢]
「3次元形状情報と色情報の両方を含む相同モデル化データ」と、「色情報の無い3次元形状情報のみの相同モデル化データ」と、「平均顔の3次元形状に個人の色情報のみを付与した相同モデル化データ」と、の3種類を上記の166名分のデータについて作成した。そして、メイクアップアーティストが各相同モデル化データ画像に対して、顔の印象と見た目年齢を評価した。評価項目は以下のとおりである。
【0020】
「3次元形状情報と色情報の両方を含む相同モデル化データ」の評価項目(カッコ内は回答を示す)
0.推定年齢 (0~100歳)
1.形が美しい 形が美しくない (11段階)
2.平面的 立体的 (11段階)
3.骨格を感じる(ごつごつ) 肉付きを感じる(ふっくら) (11段階)
4.しわが目立たない しわが目立つ (11段階)
5.たるみを感じない たるみを感じる (11段階)
6.子供っぽい 大人っぽい (11段階)
7.クール ウォーム (11段階)
【0021】
「色情報の無い3次元形状情報のみの相同モデル化データ」の評価項目(カッコ内は回答を示す)
0.推定年齢 (0~100歳)
1.形が美しい 形が美しくない (11段階)
2.平面的 立体的 (11段階)
3.骨格を感じる(ごつごつ) 肉付きを感じる(ふっくら) (11段階)
4.しわが目立たない しわが目立つ (11段階)
5.たるみを感じない たるみを感じる (11段階)
6.子供っぽい 大人っぽい (11段階)
7.クール ウォーム (11段階)
【0022】
「平均顔の3次元形状に個人の色情報のみを付与した相同モデル化データ」の評価項目(カッコ内は回答を示す)
0.推定年齢 (0~100歳)
1.肌が美しい 肌が美しくない (11段階)
2.肌色が均一 肌色が不均一 (11段階)
3.肌のハリ感がある 肌のハリ感がない (11段階)
4.くすみを感じる くすみを感じない (11段階)
5.赤みを感じる 赤みを感じない (11段階)
6.黄みを感じる 黄みを感じない (11段階)
7.しわが目立つ しわが目立たない (11段階)
【0023】
上記の主観評価の結果(得点)を従属変数とし、上記の[主成分分析]で算出した顔の3次元形状の主成分および/または色の主成分を独立変数として、重回帰分析を実施した。解析の結果、「推定年齢」、「立体的(平面的)」、「肉付きを感じる(骨格を感じる)」、「しわ」、「たるみ」、「大人っぽい(子供っぽい)」、「クール(ウォーム)」に関連する顔の印象評価に特に影響する3次元形状の主成分、色の主成分が分かった。また、「くすみ」、「はり」、「赤み」、「肌色の均一性」、「黄み」に関連する顔の印象においては、特に影響する色の主成分が分かった。さらに、これらの情報を用いて、顔の相同モデル化データの頂点上の座標情報、色情報から、上記主観評価が推定可能となった(つまり、顔の3次元形状情報および色情報およびメイクアップアーティストによる印象評価に基づいて、被験者の顔の印象を推定する数理モデルを作成すること、顔の3次元形状情報および色情報および/またはメイクアップアーティストによる見た目年齢評価に基づいて、被験者の顔の見た目年齢や印象を推定する数理モデルを作成することができた)。
【0024】
さらに、推定年齢と実年齢の差の原因を分析したところ、年齢を推定する際、3次元形状および色の影響が認められ、色の影響が3次元形状の影響の2倍であることが分かった。3次元形状情報と色情報との両方の情報を用いて推定した際、推定年齢-実年齢=3.78±4.2歳であった。
【0025】
<3次元形状と色に基づく分類>
上記の166名の顔の相同モデル化された3次元形状(各点に色の情報が付与されている)を非階層型のクラスタリングであるk-means法にて分類した(なお、顔全体のクラスター分析では、主成分分析で抽出した主成分を用いて分析を行った)。同様に、上記の166名の目の部分の相同モデル化された3次元形状(各点に色の情報が付与されている)、口の部分の相同モデル化された3次元形状(各点に色の情報が付与されている)、鼻の部分の相同モデル化された3次元形状(各点に色の情報が付与されている)をk-means法にて分類した(なお、目、口、鼻のクラスター分析では、素点を用いて分析を行った)。目と口の最適分類数は5個であった。鼻の最適分類数は6個であった。目と口は、推定年齢と関連が認められたが、実年齢とは関連がなかった。目では、しわが目立ちたるみがあると、推定年齢が高かった。口では、唇が薄くしわが目立つと、推定年齢が高かった。そして、目、口、鼻の分類間の関連をコレスポンデンス分析にて分析したところ、各々の分類の間に関連があることが分かった。
【0026】
図5~
図8は、分類されたクラスターを示す。
図5は顔の分類を示し、
図6は目の分類を示し、
図7は口の分類を示し、
図8は鼻の分類を示す。
【0027】
<3次元形状と色の年代間の差>
上記の166名の顔の相同モデル化された3次元形状の情報(x座標、y座標、z座標の値)および色の情報(RGB(Red、Green、Blue)の値またはCMYK(Cyan、Magenta、Yellow、Key Plate)の値)の30代の平均値と40代の平均値との差の検定(有意水準補正済みt検定)を実施した。
【0028】
40代は、30代と比較して、
・眼窩から鼻根部にかけて大きな明るさの差が認められた(年齢が高い群では、眼窩にくすみが認められた)。
・口角部に大きな有意な明るさの差が認められた(年齢が高い群では、口角部にたるみによる影が認められた)。
・下唇の下方の小さな明るさの差が認められた(年齢が高い群では、下唇下方の影が消失した)。
・オトガイ部軟組織は、より下方および側方に位置した。
・下唇軟組織は、より下方および前方に位置した。
・右側鼻翼部、頬部は、下方および側方に位置した。
【0029】
<方法>
以下、
図9~
図15を参照しながら、上記の顔の分析の結果を用いた処理の方法について説明する。
【0030】
図9は、本発明の一実施形態に係る顔を分析する処理の全体の流れを示すフローチャートである。
【0031】
ステップ1(S1)において、顔測定装置11は、顔の3次元形状情報および当該顔の色情報を取得する。顔の3次元形状情報は、顔上の各点のx座標、y座標、z座標の値である。顔の色情報は、顔上の各点におけるRGB(Red、Green、Blue)の値またはCMYK(Cyan、Magenta、Yellow、Key Plate)の値である。顔測定装置11は、顔分析装置10と同一の装置でもよい。
【0032】
ステップ2(S2)において、変換装置12は、S1で取得した3次元形状情報およびS1で取得した色情報を用いて、顔の3次元形状および色を相同モデル化する。具体的には、変換装置12は、顔の3次元形状情報を用いて当該顔の形状を相同モデル化して、相同モデル化された形状の各点に色情報(当該点に対応する色の情報)を付与する。変換装置12は、顔分析装置10と同一の装置でもよい。
【0033】
ステップ3(S3)において、顔分析装置10は、S2で相同モデル化した結果に基づいて、顔を分析する。
【0034】
図10は、本発明の一実施形態に係る顔の3次元形状と色の関係を分析する処理(第1の分析例)のフローチャートである。
【0035】
ステップ11(S11)において、顔測定装置11は、顔の3次元形状情報および当該顔の色情報を取得する。顔の3次元形状情報は、顔上の各点のx座標、y座標、z座標の値である。顔の色情報は、顔上の各点におけるRGB(Red、Green、Blue)の値またはCMYK(Cyan、Magenta、Yellow、Key Plate)の値である。顔測定装置11は、顔分析装置10と同一の装置でもよい。
【0036】
ステップ12(S12)において、変換装置12は、S11で取得した3次元形状情報およびS11で取得した色情報を用いて、顔の3次元形状および色を相同モデル化する。具体的には、変換装置12は、顔の3次元形状情報を用いて当該顔の形状を相同モデル化して、相同モデル化された形状の各点に色情報(当該点に対応する色の情報)を付与する。変換装置12は、顔分析装置10と同一の装置でもよい。
【0037】
ステップ13(S13)において、顔分析装置10は、S12で相同モデル化した3次元形状(相同性が確保されたメッシュデータにおける3次元形状)に対して主成分分析を実施する。
【0038】
ステップ14(S14)において、顔分析装置10は、S12で相同モデル化した色(相同性が確保されたメッシュデータにおける色)に対して主成分分析を実施する。なお、S13から14の順序を問わない。
【0039】
ステップ15(S15)において、顔分析装置10は、S13の3次元形状の主成分とS14の色の主成分を用いた多変量解析を実施する。例えば、顔分析装置10は、3次元形状の主成分と色の主成分を用いた正準相関分析を実施し、3次元形状と色の関係を分析することができる。なお、顔分析装置10は、主成分を用いずに3次元形状と色の多変量解析を実施してもよいし、主成分を用いずに3次元形状と色を用いた正準相関分析を実施し、3次元形状と色の関係を分析してもよい。主成分を用いずに3次元形状と色の多変量解析を実施する場合、ステップ13、ステップ14は省くことができる。
【0040】
図11は、本発明の一実施形態に係る被験者の顔の印象を推定する処理のフローチャートである。顔の印象は、その顔がその顔を見た人に対して与える印象であり、例えば、「形が美しい、形が美しくない」、「平面的、立体的」、「骨格を感じる(ごつごつ)、肉付きを感じる(ふっくら))」、「しわが目立たない、しわが目立つ」、「たるみを感じない、たるみを感じる」、「子供っぽい、大人っぽい」、「クール、ウォーム」等である。
【0041】
ステップ101(S101)において、顔測定装置11は、顔の3次元形状情報および当該顔の色情報を取得する。顔の3次元形状情報は、顔上の各点のx座標、y座標、z座標の値である。顔の色情報は、顔上の各点におけるRGB(Red、Green、Blue)の値またはCMYK(Cyan、Magenta、Yellow、Key Plate)の値である。顔測定装置11は、顔分析装置10と同一の装置でもよい。
【0042】
ステップ102(S102)において、変換装置12は、S101で取得した3次元形状情報およびS101で取得した色情報を用いて、顔の3次元形状および色を相同モデル化する。具体的には、変換装置12は、顔の3次元形状情報を用いて当該顔の形状を相同モデル化して、相同モデル化された形状の各点に色情報(当該点に対応する色の情報)を付与する。変換装置12は、顔分析装置10と同一の装置でもよい。
【0043】
ステップ103(S103)において、顔分析装置10は、相同モデル化した各頂点の座標情報と色の情報および/または他の空間(例えば、上記の[主成分分析]で抽出した主成分空間)における取得データの位置、を算出する。
【0044】
ステップ104(S104)において、顔分析装置10は、S103で相同モデル化した3次元形状情報および色情報に基づいて、数理モデルを用いて、被験者の顔の印象を推定する。例えば、顔分析装置10は、顔の3次元形状情報および色情報が入力されると顔の印象の情報が出力されるように誤差逆伝播法等により機械学習されたモデル(つまり、顔の3次元形状情報および色情報から、当該顔の印象を推定するモデル)を用いて、被験者の顔の印象を推定することができる。
【0045】
例えば、顔分析装置10は、顔の3次元形状および色から、「立体感」、「肉付き」、「しわ」、「たるみ」、「大人っぽさ」、「クール」に関連する顔の印象を推定することができる。また、顔分析装置10は、顔の色から、「くすみ」、「はり」、「赤み」、「肌色の均一性」、「黄み」に関連する顔の印象を推定することができる。
【0046】
図12は、本発明の一実施形態に係る被験者の顔の見た目年齢を推定する処理のフローチャートである。顔の見た目年齢は、その顔を見た人が推定した、その顔を有する人の年齢である。
【0047】
ステップ111(S111)において、顔測定装置11は、顔の3次元形状情報および当該顔の色情報を取得する。顔の3次元形状情報は、顔上の各点のx座標、y座標、z座標の値である。顔の色情報は、顔上の各点におけるRGB(Red、Green、Blue)の値またはCMYK(Cyan、Magenta、Yellow、Key Plate)の値である。顔測定装置11は、顔分析装置10と同一の装置でもよい。
【0048】
ステップ112(S112)において、変換装置12は、S111で取得した3次元形状情報およびS111で取得した色情報を用いて、顔の3次元形状および色を相同モデル化する。具体的には、変換装置12は、顔の3次元形状情報を用いて当該顔の形状を相同モデル化して、相同モデル化された形状の各点に色情報(当該点に対応する色の情報)を付与する。変換装置12は、顔分析装置10と同一の装置でもよい。
【0049】
ステップ113(S113)において、顔分析装置10は、相同モデル化した各頂点の座標情報と色の情報および/または他の空間(例えば、上記の[主成分分析]で抽出した主成分空間)における取得データの位置、を算出する。
【0050】
ステップ114(S114)において、顔分析装置10は、S103で相同モデル化した3次元形状情報および色情報に基づいて、数理モデルを用いて、被験者の顔の見た目年齢を推定する。例えば、顔分析装置10は、顔の3次元形状情報および色情報が入力されると顔の見た目年齢の情報が出力されるように誤差逆伝播法等により機械学習されたモデル(つまり、顔の3次元形状情報および色情報から、当該顔の見た目年齢を推定するモデル)を用いて、被験者の顔の見た目年齢を推定することができる。
【0051】
図13は、本発明の一実施形態に係る顔を複数のクラスターに分類する処理(第2の分析例)のフローチャートである。
【0052】
ステップ21(S21)において、顔測定装置11は、顔の3次元形状情報および当該顔の色情報を取得する。顔の3次元形状情報は、顔上の各点のx座標、y座標、z座標の値である。顔の色情報は、顔上の各点におけるRGB(Red、Green、Blue)の値またはCMYK(Cyan、Magenta、Yellow、Key Plate)の値である。顔測定装置11は、顔分析装置10と同一の装置でもよい。
【0053】
ステップ22(S22)において、変換装置12は、S21で取得した3次元形状情報およびS21で取得した色情報を用いて、顔の3次元形状および色を相同モデル化する。具体的には、変換装置12は、顔の3次元形状情報を用いて当該顔の形状を相同モデル化して、相同モデル化された形状の各点に色情報(当該点に対応する色の情報)を付与する。変換装置12は、顔分析装置10と同一の装置でもよい。
【0054】
ステップ23(S23)において、顔分析装置10は、複数の者の顔を相同モデル化した3次元形状および色に基づいて、複数の者の顔を複数のクラスターに分類する。
【0055】
ステップ24(S24)において、顔分析装置10は、各パーツ(目、口、鼻)に分けて分析する。
【0056】
図14は、本発明の一実施形態に係る被験者の顔がいずれのクラスターに属するかを判断する処理のフローチャートである。
【0057】
ステップ201(S201)において、顔測定装置11は、顔の3次元形状情報および当該顔の色情報を取得する。顔の3次元形状情報は、顔上の各点のx座標、y座標、z座標の値である。顔の色情報は、顔上の各点におけるRGB(Red、Green、Blue)の値またはCMYK(Cyan、Magenta、Yellow、Key Plate)の値である。顔測定装置11は、顔分析装置10と同一の装置でもよい。
【0058】
ステップ202(S202)において、変換装置12は、S201で取得した3次元形状情報およびS201で取得した色情報を用いて、顔の3次元形状および色を相同モデル化する。具体的には、変換装置12は、顔の3次元形状情報を用いて当該顔の形状を相同モデル化して、相同モデル化された形状の各点に色情報(当該点に対応する色の情報)を付与する。変換装置12は、顔分析装置10と同一の装置でもよい。
【0059】
ステップ203(S203)において、顔分析装置10は、S202で取得した相同モデル化データの3次元形状情報およびS202で取得した相同モデル化データの色情報に基づいて、被験者の顔がいずれのクラスター(
図13で分類した複数のクラスターのうちのいずれのクラスター)に属するかを判断する。例えば、顔分析装置10は、被験者の顔がいずれのクラスターに属するか、目、口、鼻の少なくとも1つがいずれのクラスターに属するかを判断することができる。
【0060】
例えば、顔分析装置10は、目の部分の3次元形状および色情報に基づいて、推定年齢に基づき分類された複数のクラスターのうちのいずれのクラスターに属するかを判断することができる。
【0061】
例えば、顔分析装置10は、口の部分の3次元形状および色情報に基づいて、推定年齢に基づき分類された複数のクラスターのうちのいずれのクラスターに属するかを判断することができる。
【0062】
図15は、本発明の一実施形態に係る顔の3次元形状と色の年代間の差を分析する処理(第3の分析例)のフローチャートである。
【0063】
ステップ31(S31)において、顔測定装置11は、顔の3次元形状情報および当該顔の色情報を取得する。顔の3次元形状情報は、顔上の各点のx座標、y座標、z座標の値である。顔の色情報は、顔上の各点におけるRGB(Red、Green、Blue)の値またはCMYK(Cyan、Magenta、Yellow、Key Plate)の値である。顔測定装置11は、顔分析装置10と同一の装置でもよい。
【0064】
ステップ32(S32)において、変換装置12は、S31で取得した3次元形状情報およびS31で取得した色情報を用いて、顔の3次元形状および色を相同モデル化する。具体的には、変換装置12は、顔の3次元形状情報を用いて当該顔の形状を相同モデル化して、相同モデル化された形状の各点に色情報(当該点に対応する色の情報)を付与する。変換装置12は、顔分析装置10と同一の装置でもよい。
【0065】
ステップ33(S33)において、顔分析装置10は、第1の年代の複数の者の相同性が確保されたメッシュデータにおける(例えば、相同モデル化した)3次元形状および色の平均値を算出する(例えば、第1の年代の平均的な顔(平均値を有する顔)を生成する)。
【0066】
ステップ34(S34)において、顔分析装置10は、第1の年代とは異なる第2の年代の複数の者の相同性が確保されたメッシュデータにおける(例えば、相同モデル化した)3次元形状および色の平均値を算出する(例えば、第2の年代の平均的な顔(平均値を有する顔)を生成する)。
【0067】
ステップ35(S35)において、顔分析装置10は、S31で算出した第1の年代の複数の者の相同性が確保されたメッシュデータにおける(例えば、相同モデル化した)3次元形状および色の平均値と、S32で算出した第2の年代の複数の者の相同性が確保されたメッシュデータにおける(例えば、相同モデル化した)3次元形状および色の平均値と、の差を分析する。
【0068】
<効果>
このように、本発明の一実施形態では、顔の相同モデル化された形状だけでなく、当該形状の各点の色(当該点に対応する色)を用いて顔を分析することができる。そのため、顔の形状の特徴を定量化しやすくなるだけでなく、顔の色の特徴も定量化しやすくなる。また、小さな凹凸等を3次元形状の情報のみで分析することは困難であるが、色の情報を用いることで小さな凹凸等も分析することができる。
【0069】
例えば、第1の分析例では、顔の3次元形状の情報と顔の色の情報(例えば、顔の3次元形状と色の関係の分析により相関が認められた3次元形状の情報および色の情報)から、当該顔の印象を精度よく推定したり、当該顔の見た目年齢を精度よく推定したりできる。
【0070】
例えば、第2の分析例では、顔の3次元形状の情報と顔の色の情報から、当該顔が複数のクラスターのうちのいずれのクラスターに属するかを判断することができる。
【0071】
例えば、第3の分析例では、顔の3次元形状と顔の色の年齢による変化を分析することができる。
【0072】
以下、
図9~
図15を参照しながら説明した顔の分析の処理を実行することができる顔分析装置10について説明する。
【0073】
<全体の構成例>
図16は、本発明の一実施形態に係る全体の構成例である。
【0074】
顔分析システム1は、顔分析装置10と、顔測定装置11と、変換装置12と、を含む。以下、それぞれについて説明する。
【0075】
<<顔分析装置>>
顔分析装置10は、顔の3次元形状および当該顔の色に基づいて顔を分析する装置である。顔分析装置10は、顔を分析して、分析の結果を出力(例えば、画面に表示)する。例えば、顔分析装置10は、パーソナルコンピュータ、タブレット端末、スマートフォン等である。
【0076】
<<顔測定装置>>
顔測定装置11は、顔の3次元形状および顔の色を測定する(x座標の値およびy座標の値だけでなく、z座標の値(深度)も測定できる)装置(例えば、3Dスキャナ)である。例えば、顔測定装置11は、複数の画像を撮影することによって顔の3次元形状を測定することができる。
【0077】
<<変換装置>>
変換装置12は、顔の形態的特徴を利用して同一頂点数のメッシュが貼られた、相同性が確保されたメッシュデータへと変換する(例えば、相同モデル化)装置である。
【0078】
なお、
図16では、顔分析装置10、顔測定装置11、変換装置12を別々の装置として説明したが、顔分析装置10、顔測定装置11、変換装置12を1つの装置で実現してもよい。
【0079】
<機能ブロック>
図17は、本発明の一実施形態に係る顔分析システム1の機能ブロック図である。顔分析システム1は、3次元形状情報取得部101と、色情報取得部102と、メッシュデータ変換部103と、分析部104と、を備える。顔分析装置10は、プログラムを実行することで、3次元形状情報取得部101、色情報取得部102、メッシュデータ変換部103、分析部104、として機能する。
【0080】
3次元形状情報取得部101(取得部ともいう)は、顔の3次元形状情報(つまり、顔上の各点のx座標、y座標、z座標の値)を取得する。
【0081】
色情報取得部102(取得部ともいう)は、顔の色情報(顔上の各点におけるRGB(Red、Green、Blue)の値またはCMYK(Cyan、Magenta、Yellow、Key Plate)の値)を取得する。
【0082】
メッシュデータ変換部103は、3次元形状情報取得部101取得した3次元形状情報と色情報取得部102が取得した色情報を用いて、顔の3次元形状および色から生成された顔3次元モデル(顔の3次元形状と色を示すデータ)を、顔の形態的特徴を利用して同一頂点数のメッシュが貼られた、相同性が確保されたメッシュデータへと変換(例えば、相同モデル化)する。具体的には、メッシュデータ変換部103は、顔の3次元形状情報を用いて当該顔の形状を相同モデル化して、相同モデル化された形状の各点に色情報(当該点に対応する色の情報)を付与する。
【0083】
分析部104は、メッシュデータ上の座標情報と色情報に基づいて(例えば、メッシュデータ変換部103が相同モデル化した結果)に基づいて、顔を分析する。具体的には、分析部104は、
図9~
図15を参照しながら説明した顔の分析の処理を実行する。
【0084】
<ハードウェア構成>
図18は、本発明の一実施形態に係る顔分析装置10のハードウェア構成図である。顔分析装置10は、制御部1001と、主記憶部1002と、補助記憶部1003と、入力部1004と、出力部1005と、インタフェース部1006と、を備えることができる。以下、それぞれについて説明する。
【0085】
制御部1001は、補助記憶部1003にインストールされている各種プログラムを実行するプロセッサ(例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)など)である。
【0086】
主記憶部1002は、不揮発性メモリ(ROM(Read Only Memory))および揮発性メモリ(RAM(Random Access Memory))を含む。ROMは、補助記憶部1003にインストールされている各種プログラムを制御部1001が実行するために必要な各種プログラム、データ等を格納する。RAMは、補助記憶部1003にインストールされている各種プログラムが制御部1001によって実行される際に展開される作業領域を提供する。
【0087】
補助記憶部1003は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。
【0088】
入力部1004は、顔分析装置10の操作者が顔分析装置10に対して各種指示を入力する入力デバイスである。
【0089】
出力部1005は、顔分析装置10の内部状態等を出力する出力デバイスである。
【0090】
インタフェース部1006は、ネットワークに接続し、他の装置と通信を行うための通信デバイスである。
【0091】
以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【0092】
1 顔分析システム
10 顔分析装置
11 顔測定装置
12 変換装置
101 3次元形状取得部
102 色情報取得部
103 メッシュデータ変換部
104 分析部
1001 制御部
1002 主記憶部
1003 補助記憶部
1004 入力部
1005 出力部
1006 インタフェース部