特許 7226745 三次元顔形態の判別装置、方法、プログラム、およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-13

(45)【発行日】2023-02-21

(54)【発明の名称】三次元顔形態の判別装置、方法、プログラム、およびシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230214BHJP

【ＦＩ】

G06T7/00 660A

【請求項の数】 8

(21)【出願番号】P 2021508455

(86)(22)【出願日】2019-03-26

(86)【国際出願番号】 JP2019012719

(87)【国際公開番号】W WO2020194488

(87)【国際公開日】2020-10-01

【審査請求日】2022-01-27

(73)【特許権者】

【識別番号】000001959

【氏名又は名称】株式会社 資生堂

(73)【特許権者】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】谷川 千尋

(72)【発明者】

【氏名】高田 健治

(72)【発明者】

【氏名】関根 春奈

(72)【発明者】

【氏名】▲高▼野 ルリ子

(72)【発明者】

【氏名】高田 定樹

【審査官】堀井 啓明

(56)【参考文献】

【文献】特開２０１５－２１９６４８（ＪＰ，Ａ）

【文献】特開２０１４－１７８９６９（ＪＰ，Ａ）

【文献】特開２００９－０９３４９０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

顔の三次元形態情報を取得する三次元形態情報取得部と、
前記三次元形態情報に基づいて、前記顔の人間が第１の年齢層であるか前記第１の年齢層よりも高い第２の年齢層であるか、および、前記顔が第１の表情であるか第２の表情であるかを判別する判別部と
を備え、
前記判別部は、
前記第１の表情である人間が、前記第１の年齢層であるか前記第２の年齢層であるかを判別する第１の判別関数と、
前記第２の表情である人間が、前記第１の年齢層であるか前記第２の年齢層であるかを判別する第２の判別関数と、
前記第１の年齢層に属する人間が、前記第１の表情であるか前記第２の表情であるかを判別する第３の判別関数と、
前記第２の年齢層に属する人間が、前記第１の表情であるか前記第２の表情であるかを判別する第４の判別関数と、により判別する
判別装置。

【請求項2】

前記第２の表情は笑顔表出時の顔である、請求項１に記載の判別装置。

【請求項3】

前記第１の判別関数および前記第２の判別関数は、前記三次元形態情報に基づいて生成された三次元形態から計測された特徴変量を含み、前記特徴変量は、前記第１の年齢層に属する人間と前記第２の年齢層に属する人間との差異を示す、請求項１または２に記載の判別装置。

【請求項4】

前記第３の判別関数および前記第４の判別関数は、前記三次元形態情報に基づいて生成された三次元形態から計測された特徴変量を含み、前記特徴変量は、前記第１の表情である人間と前記第２の表情である人間との差異を示す、請求項１から３のいずれか一項に記載の判別装置。

【請求項5】

前記第４の判別関数の前記特徴変量の個数は、前記第３の判別関数の特徴変量の個数よりも少ない、請求項４に記載の判別装置。

【請求項6】

コンピュータが実行する方法であって、
顔の三次元形態情報を取得するステップと、
前記三次元形態情報に基づいて、前記顔の人間が第１の年齢層であるか前記第１の年齢層よりも高い第２の年齢層であるか、および、前記顔が第１の表情であるか第２の表情であるかを判別するステップと
を含み、
前記判別するステップでは、
前記第１の表情である人間が、前記第１の年齢層であるか前記第２の年齢層であるかを判別する第１の判別関数と、
前記第２の表情である人間が、前記第１の年齢層であるか前記第２の年齢層であるかを判別する第２の判別関数と、
前記第１の年齢層に属する人間が、前記第１の表情であるか前記第２の表情であるかを判別する第３の判別関数と、
前記第２の年齢層に属する人間が、前記第１の表情であるか前記第２の表情であるかを判別する第４の判別関数と、により判別する
方法。

【請求項7】

コンピュータを
顔の三次元形態情報を取得する三次元形態情報取得部、
前記三次元形態情報に基づいて、前記顔の人間が第１の年齢層であるか前記第１の年齢層よりも高い第２の年齢層であるか、および、前記顔が第１の表情であるか第２の表情であるかを判別する判別部
として機能させ、
前記判別部は、
前記第１の表情である人間が、前記第１の年齢層であるか前記第２の年齢層であるかを判別する第１の判別関数と、
前記第２の表情である人間が、前記第１の年齢層であるか前記第２の年齢層であるかを判別する第２の判別関数と、
前記第１の年齢層に属する人間が、前記第１の表情であるか前記第２の表情であるかを判別する第３の判別関数と、
前記第２の年齢層に属する人間が、前記第１の表情であるか前記第２の表情であるかを判別する第４の判別関数と、により判別する
プログラム。

【請求項8】

判別装置とユーザ端末とを含む判別システムであって、
前記判別装置は、
前記ユーザ端末から、顔の三次元形態情報を取得する三次元形態情報取得部と、
前記三次元形態情報に基づいて、前記顔の人間が第１の年齢層であるか前記第１の年齢層よりも高い第２の年齢層であるか、および、前記顔が第１の表情であるか第２の表情であるかを判別する判別部と、を備え、
前記判別部は、
前記第１の表情である人間が、前記第１の年齢層であるか前記第２の年齢層であるかを判別する第１の判別関数と、
前記第２の表情である人間が、前記第１の年齢層であるか前記第２の年齢層であるかを判別する第２の判別関数と、
前記第１の年齢層に属する人間が、前記第１の表情であるか前記第２の表情であるかを判別する第３の判別関数と、
前記第２の年齢層に属する人間が、前記第１の表情であるか前記第２の表情であるかを判別する第４の判別関数と、により判別し、
前記ユーザ端末は、
前記判別装置が判別した結果を受信する、判別システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、三次元顔形態の判別装置、方法、プログラム、およびシステムに関する。

【背景技術】

【0002】

従来、人間の顔を定量的に評価する手法が研究されている。例えば、特許文献１では、三次元形状計測装置で計測した顔の三次元形状情報を用いて、顔の各点における曲面の曲率を求め、該曲率の分布に基づいて顔の形状を評価している（特許文献１の段落［０００７］）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－５４０６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１では、顔の各点における曲面の曲率の分布に基づいて、顔の形状を評価しているに過ぎない。

【0005】

そこで、本発明の一実施形態では、顔の三次元形態の評価の精度を向上することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様は、顔の三次元形態情報を取得する三次元形態情報取得部と、前記三次元形態情報に基づいて、前記顔の人間が第１の年齢層であるか前記第１の年齢層よりも高い第２の年齢層であるかを判別する判別部と、を備える。

【発明の効果】

【0007】

本発明によれば、顔の三次元形態の評価の精度を向上することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の一実施形態に係る判別システムの全体の構成図である。

【図2】本発明の一実施形態に係る判別装置の機能ブロック図である。

【図3】本発明の一実施形態に係る断面図の一例である。

【図4】本発明の一実施形態に係るメッシュの一例である。

【図5】本発明の一実施形態に係る有意差の認められる特徴変量を説明するための図である。

【図6】本発明の一実施形態に係る有意差の認められる特徴変量を説明するための図である。

【図7】本発明の一実施形態に係る判別システムの一例である。

【図8】本発明の一実施形態に係る判別処理を示すフローチャートである。

【図9】本発明の一実施形態に係る判別装置のハードウェア構成を示すブロック図である。

【発明を実施するための形態】

【0009】

以下、図面に基づいて本発明の実施の形態を説明する。

【0010】

＜システム構成＞
図１は、本発明の一実施形態に係る判別システム１００の全体の構成図である。判別システム１００は、判別装置１０１とユーザ端末１０２とを含む。以下、それぞれについて説明する。

【0011】

判別装置１０１は、人間の顔の三次元の形態についての情報（以下、三次元形態情報ともいう）に基づいて、その人間がいずれのグループに属するかを判別するための装置である。判別装置１０１は、１または複数のコンピュータからなる。判別装置１０１は、任意のネットワーク１０３を介して、ユーザ端末１０２とデータを送受信することができる。

【0012】

具体的には、判別装置１０１は、ユーザ端末１０２から取得した人間の顔の三次元形態情報に基づいて、その人間が、第１の年齢層（以下、ヤング群ともいう）に属するか、あるいは、第１の年齢層よりも高い年齢層である第２の年齢層（以下、エルダー群ともいう）に属するかを判別する。また、判別装置１０１は、ユーザ端末１０２から取得した人間の顔の三次元形態情報に基づいて、その人間が、第１の年齢層の第１の表情（以下、安静時の顔ともいう）であるか、第１の年齢層の第２の表情（以下、笑顔表出時の顔ともいう）であるか、第２の年齢層の第１の表情であるか、第２の年齢層の第２の表情であるかを判別する構成とすることもできる。また、判別装置１０１は、ユーザ端末１０２から取得した人間の顔の三次元形態情報に基づいて、その人間が、第１の表情であるか、あるいは、第２の表情であるかを判別する構成とすることもできる。後段で、図２を参照しながら、判別装置１０１について詳細に説明する。

【0013】

ユーザ端末１０２は、人間の顔の三次元形態情報に基づいてその人間がいずれのグループに属するかを判別したい者が利用する端末である。ユーザ端末１０２は、パーソナルコンピュータ、タブレット、スマートフォン等のコンピュータである。ユーザ端末１０２は、任意のネットワーク１０３を介して、判別装置１０１とデータを送受信することができる。

【0014】

具体的には、ユーザ端末１０２は、人間の顔の三次元形態情報を示すデータを、判別装置１０１へ送信する。また、ユーザ端末１０２は、人間がいずれのグループに属するかを判別した結果を示すデータを、判別装置１０１から受信してディスプレイ等の表示手段に表示する。例えば、ユーザ端末１０２は、ユーザ端末１０２に内蔵された深度センサー等により取得された、人間の顔の三次元形態情報を示すデータを用いることができる。

【0015】

なお、本明細書では、判別装置１０１とユーザ端末１０２とを別々のコンピュータとして説明するが、判別装置１０１とユーザ端末１０２とを１つのコンピュータで実装するようにしてもよい。

【0016】

＜機能構成＞
図２は、本発明の一実施形態に係る判別装置１０１の機能ブロック図である。判別装置１０１は、三次元形態情報取得部２０１、三次元形態生成部２０２、特徴変量計測部２０３、判別部２０４、判別関数記憶部２０５を含む。判別装置１０１は、プログラムを実行することで、三次元形態情報取得部２０１、三次元形態生成部２０２、特徴変量計測部２０３、判別部２０４として機能する。以下、それぞれについて説明する。

【0017】

三次元形態情報取得部２０１は、ユーザ端末１０２から、人間の顔の三次元形態情報を示すデータを受信する。また、三次元形態情報取得部２０１は、受信したデータを他の機能部が参照できるようにメモリに記憶する。

【0018】

ここで、三次元形態情報について説明する。人間の顔の三次元形態情報は、例えば、"カメラが撮影した人間の顔の画像（２次元画像）"と"深度センサーが取得した深度センサーから人間までの距離"とに基づく、人間の顔の三次元の形状を表すことができる情報である。また、人間の顔の三次元形態情報は、例えば、ステレオカメラ等の２台以上のカメラが異なる視点から撮影した画像の視差に基づく、人間の顔の三次元の形状を表すことができる情報である。

【0019】

三次元形態情報取得部２０１は、安静時の顔の三次元形態情報を取得してもよいし、あるいは、笑顔表出時の顔の三次元形態情報を取得してもよいし、あるいは、安静時の顔の三次元形態情報と笑顔表出時の顔の三次元形態情報との両方を取得してもよい。

【0020】

本明細書で、安静時の顔とは、表情が表出していない顔である。また、笑顔表出時の顔とは、笑っている表情が表出している顔である。笑顔は、「笑顔表出時の顔の三次元形態」として定義することもできるし、「安静時の顔の三次元形態と笑顔表出時の顔の三次元形態との差分」として定義することもできる。

【0021】

なお、本明細書では安静時の顔を一例として説明するが、本発明は、表情が表出していない任意の顔（例えば、寝顔等）に適用することができる。また、本明細書では笑顔表出時の顔を一例として説明するが、本発明は、笑顔以外の表情（例えば、泣いている、怒っている等）が表出している顔に適用することができる。

【0022】

図２に戻る。三次元形態生成部２０２は、三次元形態情報取得部２０１が取得した三次元形態情報に基づいて、人間の顔の三次元形態を生成する。また、三次元形態生成部２０２は、生成した三次元形態のデータを他の機能部が参照できるようにメモリに記憶する。以下、＜断面図＞による三次元形態の生成と＜メッシュ＞による三次元形態の生成との２つの例について説明する。

【0023】

＜断面図＞
三次元形態生成部２０２は、三次元の座標系（人間の顔の左右方向をｘ軸とし、上下方向をｙ軸とし、前後方向（奥行き）をｚ軸とする）を決定する。また、三次元形態生成部２０２は、三次元形態情報を解剖学的な計測点に基づいてデータ処理することによって、人間の顔の断面図を生成することができる。図３は、本発明の一実施形態に係る断面図の一例である。図３には、目尻Ｅｘと口角点Ｃｈとを結ぶ線で人間の顔を切断した場合のｙｚ断面が示されている。なお、断面は、鼻下点、鼻の最突点、眉間点、鼻根点、上唇点、下唇点、オトガイ点等の任意の点を通る断面であってよい。

【0024】

＜メッシュ＞
三次元形態生成部２０２は、三次元形態情報に基づいて、人間の顔のメッシュ（ポリゴンメッシュ）を生成することができる。図４は、本発明の一実施形態に係るメッシュの一例である。

【0025】

特徴変量計測部２０３は、三次元形態の特徴変量を計測する。また、特徴変量計測部２０３は、計測した特徴変量を他の機能部が参照できるようにメモリに記憶する。特徴変量は、人間の顔の形態の特徴を表す特徴パラメータである。以下、上記の＜断面図＞の場合の特徴変量の計測と＜メッシュ＞の場合の特徴変量の計測との２つの例について説明する。

【0026】

＜断面図＞
特徴変量計測部２０３は、生成した断面図から特徴変量を計測する。例えば、図３では、目尻Ｅｘを基点とする口角Ｃｈのｚ軸方向における角度（ｖ７）、目尻Ｅｘを基点とする当該断面における頬の突点Ｐ（Ｅｘ－Ｃｈ）の角度（ｖ８）、目尻Ｅｘと口角Ｃｈの外形曲線の長さ（ｖ１２）、外形曲線で閉じられる面積（ｖ１３）などを特徴変量とすることができる。

【0027】

その他、特徴変量は、様々な断面位置における顔の部位のｚ方向へ突出する量、突点部の角度、突出量、凹点部の角度であってもよい。

【0028】

＜メッシュ＞
特徴変量計測部２０３は、生成したメッシュから特徴変量を計測する。例えば、図４では、ある特定部位のｚ平均値に対する差分や比率を特徴変量とすることができる。

【0029】

判別部２０４は、人間の顔の三次元形態情報に基づいて生成した三次元形態の特量変量から、その人間がいずれのグループに属するかを判別する。また、判別部２０４は、判別した結果をユーザ端末１０２に通知する。以下、＜判別関数＞による判別、＜パターンマッチング＞による判別、＜過去のデータ＞による判別の例について説明する。

【0030】

＜判別関数＞
判別部２０４は、判別関数記憶部２０５に記憶されている４つの判別関数（線形でも非線形でもよい）に、特徴変量計測部２０３が計測した特徴変量を代入する。

【0031】

以下、判別関数について説明する。例示は、表情の種類のうち安静時と笑顔表出時とを対象に、人間の顔の三次元形態を用いて、２群（ヤング群、エルダー群）の識別に有効な要素（特徴変量）を示したものである。

【0032】

具体的には、安静時には、鼻下部の凸型の形態、目の下のふくらみが大きい、下顔面の幅が大きい、口唇の前突が大きい、顎角部のたるみが大きい、額の幅が大きい、鼻翼部の突出が大きい場合に、エルダー群と判別される。また、笑顔表出時には、口角の下垂、鼻下部の凸型の形態、目の垂直的高さが小さい、顎角部のたるみが大きい、目の下のふくらみが大きい、口唇の突出が大きい場合に、エルダー群と判別される。また、エルダー群は、安静時であるか笑顔表出時であるかが判定されにくい（つまり、識別に有意な特徴変量が少ない）。例えば、図５および図６は、本発明の一実施形態に係る有意差の認められる特徴変量を説明するための図である。ヤング群（例えば、１８～３２歳）とエルダー群（例えば、５５～６５歳）との差異が示されている。

【0033】

そして、人間の顔の三次元形態（安静時と笑顔表出時）から抽出した特徴変量を用いて、２群（ヤング群、エルダー群）を識別する判別関数を創出した（以下の＜判別関数１＞＜判別関数２＞）。また、人間の顔の三次元形態（ヤング群とエルダー群）から抽出した特徴変量を用いて、２つの表情（安静時、笑顔表出時）を識別する判別関数を創出した（以下の＜判別関数３＞＜判別関数４＞）。４つの判別関数は、それぞれ、多変量（つまり、有意差の認められた特徴変量）と重み係数とからなる。

【0034】

本発明の判別関数では、ヤング群とエルダー群の差異を最大化するような特徴変量および重み係数が採用されている。また、本発明の判別関数では、安静時と笑顔表出時の差異を最大化するような特徴変量および重み係数が採用されている。そして、本発明の判別関数では、特徴変量をそれぞれ別々に評価するのではなく多変量（つまり、多次元のベクトル）として同時に扱うことを特徴としている。

【0035】

次に、４つの判別関数について説明する。判別関数記憶部２０５には、以下の４つの判別関数が記憶されている。

【0036】

＜判別関数１＞
判別関数１は、第１の表情（例えば、安静時の顔）である者が、第１の年齢層（ヤング群）であるか第２の年齢層（エルダー群）であるかを判別するための判別関数である。例えば、判別関数１に特徴変量を代入した結果がプラス（正の値）であると、エルダー群であると判定される。以下は、判別関数１で用いられる特徴変量と重み係数とを示す。判別関数１で用いられる特徴変量は、「目の下のふくらみ」「顔の輪郭のたるみ」「鼻翼部の突出」「顔の幅」「鼻下部の垂直的距離」「口唇の前突」「鼻下部の凸型形態」である。

【0037】

【表1】

【0038】

＜判別関数２＞
判別関数２は、第２の表情（例えば、笑顔表出時の顔）である者が、第１の年齢層（ヤング群）であるか第２の年齢層（エルダー群）であるかを判別するための判別関数である。例えば、判別関数２に特徴変量を代入した結果がプラス（正の値）であると、エルダー群であると判定される。以下は、判別関数２で用いられる特徴変量と重み係数とを示す。判別関数２で用いられる特徴変量は、「目と口角との垂直的距離」「鼻下部の凸型形態」「目の下のふくらみ」「顎角部のたるみ」「眼裂の垂直距離と水平距離の比率」である。

【0039】

【表2】

【0040】

＜判別関数３＞
判別関数３は、第１の年齢層（ヤング群）に属する者が第１の表情（例えば、安静時の顔）であるか第２の表情（例えば、笑顔表出時の顔）であるかを判別するための判別関数である。例えば、判別関数３に特徴変量を代入した結果がマイナス（負の値）であると、笑顔表出時であると判定される。以下は、判別関数３で用いられる特徴変量と重み係数とを示す。判別関数３で用いられる特徴変量は、「笑顔表出時の顔の幅の増加量」「笑顔表出時の頬の突出の増加量」「笑顔表出時の鼻の後方移動量」「笑顔表出時の目の上方移動量」「笑顔表出時の下赤唇の厚みの減少量」「笑顔表出時の上下赤唇および口角の後方移動量」「笑顔表出時の下顔面高の減少量」「笑顔表出時のおとがい唇溝の深さの減少量」である。

【0041】

【表3】

【0042】

＜判別関数４＞
判別関数４は、第２の年齢層（エルダー群）に属する者が第１の表情（例えば、安静時の顔）であるか第２の表情（例えば、笑顔表出時の顔）であるかを判別するための判別関数である。例えば、判別関数４に特徴変量を代入した結果がマイナス（負の値）であると、笑顔表出時であると判定される。以下は、判別関数４で用いられる特徴変量と重み係数とを示す。判別関数４で用いられる特徴変量は、「笑顔表出時の下顔面高の減少量」「笑顔表出時の頬の突出量」である。

【0043】

【表4】

【0044】

上述したように、判別部２０４は、判別関数記憶部２０５に記憶されている４つの判別関数に、特徴変量計測部２０３が計測した特徴変量を代入する。また、判別部２０４は、判別関数１～４の結果のうち絶対値が大きいものを使う。例えば、判別関数１の結果が"＋２"、判別関数２の結果が"＋１０"、判別関数３の結果が"－２"、判別関数４の結果が"－１３"であったとする。そうすると、判別関数２と判別関数４から、エルダー群に属する者であり、かつ、笑顔表出時の顔であることが判別される。

【0045】

なお、上述したように、三次元形態情報取得部２０１は、安静時の顔の三次元形態情報と笑顔表出時の顔の三次元形態情報との両方を取得することができる。また、笑顔は、「安静時の顔の三次元形態と笑顔表出時の顔の三次元形態との差分」として定義することができる。上述したように、エルダー群は、安静時であるか笑顔表出時であるかが判定されにくい。そのため、判別装置１０１は、安静時の顔の三次元形態と笑顔表出時の顔の三次元形態との差分を用いることによって、より正確にヤング群とエルダー群との判別をする（つまり、部位特異的な移動量の減少が認められると（つまり、差分が小さいと）エルダー群である）ことができる。

【0046】

＜パターンマッチング＞
また、判別部２０４は、上記の判別関数を用いずに、予めパターン化されたいくつかの三次元形態の集合の中央値とパターンマッチング（例えば、マンハッタン距離やユークリッド距離等による機械学習）を行う構成とすることもできる。例えば、図７は、本発明の一実施形態に係る判別システムの一例である。

【0047】

図７の例では、三次元形態の特徴変量および重み係数から特徴ベクトルが作成される。そして、作成された被験者の特徴ベクトルと、各グループ（例えば、第１の年齢層の第１の表情であるグループ、第１の年齢層の第２の表情であるグループ、第２の年齢層の第１の表情であるグループ、第２の年齢層の第２の表情であるグループ）との距離（例えば、マンハッタン距離、ユークリッド距離、マハラノビス距離等）に基づいて、被験者が属するグループが判断される。

【0048】

＜過去のデータ＞
また、判別部２０４は、上記の判別関数を用いずに、過去の最も似た三次元形態を参照する構成とすることもできる。

【0049】

図８は、本発明の一実施形態に係る判別処理を示すフローチャートである。

【0050】

ステップ８０１（Ｓ８０１）において、三次元形態情報取得部２０１は、ユーザ端末１０２から、人間の顔の三次元形態情報を示すデータを受信する。

【0051】

ステップ８０２（Ｓ８０２）において、三次元形態生成部２０２は、Ｓ８０１で取得した三次元形態情報に基づいて、人間の顔の三次元形態を生成する。

【0052】

ステップ８０３（Ｓ８０３）において、特徴変量計測部２０３は、Ｓ８０２で生成した三次元形態の特徴変量を計測する。

【0053】

ステップ８０４（Ｓ８０４）において、判別部２０４は、Ｓ８０３で計測した特量変量から、その人間がいずれのグループに属するかを判別する。

【0054】

ステップ８０５（Ｓ８０５）において、判別部２０４は、Ｓ８０４で判別した結果をユーザ端末１０２へ通知する。

【0055】

このように、本発明の一実施形態では、人間の顔の三次元形態の特徴変量から、その人間がいずれのグループに属するかを判別することができる。発明者が見出した「第１の表情（例えば、安静時の顔）において、第１の年齢層（ヤング群）と第２の年齢層（エルダー群）との差異を最大化する特徴変量」、「第２の表情（例えば、笑顔表出時の顔）において、第１の年齢層（ヤング群）と第２の年齢層（エルダー群）との差異を最大化する特徴変量」、「第１の年齢層（ヤング群）において、第１の表情（例えば、安静時の顔）と第２の表情（例えば、笑顔表出時の顔）との差異を最大化する特徴変量」、「第２の年齢層（エルダー群）において、第１の表情（例えば、安静時の顔）と第２の表情（例えば、笑顔表出時の顔）との差異を最大化する特徴変量」を用いることによって、その人間がいずれのグループに属するかを判別することができる。

【0056】

＜美容分野における応用＞
本発明の一実施形態に係る判別装置、方法、プログラム、およびシステムは、美容分野に適用することができる。具体的には、スマートフォン等に組み込まれている深度センサーを用いて、安静時と笑顔表出時の顔の三次元形態を撮影し、笑顔の加齢の程度を測定する機器を提供することができる。本発明を用いて、表情トレーニングの効果を測定したり、化粧品の効果を笑顔の表出という観点から顧客に対して客観的に示したりすることが可能となる。

【0057】

＜医療分野における応用＞
本発明の一実施形態に係る判別装置、方法、プログラム、およびシステムは、医療分野に適用することができる。具体的には、介護の原因疾患の第２位である認知症では、その発症過程の初期に表情が乏しくなることが知られている。本発明を用いて、表情を計測することにより、通常の加齢による変化と疾病による変化を分離して解析することが可能になり、疾病の早期発見につながる可能性がある。また、顎顔面部の形成異常に由来する顔や表情の形態的な歪みが原因となり、個人にとって重大な社会心理学的な不適応という問題を引き起こすことがあり、近年、社会心理学的な立場から、より良い容貌および表情を確立することが矯正歯科治療や形成外科治療の目的として重要視されてきている。顔の形態異常に対する治療は主に思春期から青年前期にかけて行われるが、その結果として得られた容貌・表情は、青年後期から壮年期にかけて加齢とともに変化しながらその役割を果たす。すなわち、矯正歯科治療や形成外科治療を行う際には、治療直後の容貌・表情だけを目標とするのではなく、治療後の容貌・表情の加齢変化を考慮に入れた治療計画を立てる必要があるといえる。加齢変化を三次元的に明らかにすることで、加齢変化を考慮に入れた治療計画が可能となる。

【0058】

＜ハードウェア構成＞
図９は、本発明の一実施形態に係る判別装置１０１のハードウェア構成を示すブロック図である。判別装置１０１は、ＣＰＵ（Central Processing Unit）１、ＲＯＭ（Read Only Memory）２、ＲＡＭ（Random Access Memory）３を有する。ＣＰＵ１、ＲＯＭ２、ＲＡＭ３は、いわゆるコンピュータを形成する。

【0059】

また、判別装置１０１は、補助記憶装置４、表示装置５、操作装置６、Ｉ／Ｆ（Interface）装置７、ドライブ装置８を有する。なお、判別装置１０１の各ハードウェアは、バス９を介して相互に接続されている。

【0060】

ＣＰＵ１は、補助記憶装置４にインストールされている各種プログラムを実行する演算デバイスである。

【0061】

ＲＯＭ２は、不揮発性メモリである。ＲＯＭ２は、補助記憶装置４にインストールされている各種プログラムをＣＰＵ１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。

【0062】

ＲＡＭ３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ３は、補助記憶装置４にインストールされている各種プログラムがＣＰＵ１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。

【0063】

補助記憶装置４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。

【0064】

表示装置５は、判別装置１０１の内部状態等を表示する表示デバイスである。

【0065】

操作装置６は、判別装置１０１の管理者が判別装置１０１に対して各種指示を入力する入力デバイスである。

【0066】

Ｉ／Ｆ装置７は、ネットワーク１０３に接続し、ユーザ端末１０２と通信を行うための通信デバイスである。

【0067】

ドライブ装置８は記憶媒体１０をセットするためのデバイスである。ここでいう記憶媒体１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記憶媒体１０には、ＥＰＲＯＭ (Erasable Programmable Read Only Memory)、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

【0068】

なお、補助記憶装置４にインストールされる各種プログラムは、例えば、配布された記憶媒体１０がドライブ装置８にセットされ、該記憶媒体１０に記録された各種プログラムがドライブ装置８により読み出されることでインストールされる。あるいは、補助記憶装置４にインストールされる各種プログラムは、Ｉ／Ｆ装置７を介して、ネットワーク１０３とは異なる他のネットワークよりダウンロードされることでインストールされてもよい。

【0069】

以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0070】

１００ 判別システム
１０１ 判別装置
１０２ ユーザ端末
１０３ ネットワーク
２０１ 三次元形態情報取得部
２０２ 三次元形態生成部
２０３ 特徴変量計測部
２０４ 判別部
２０５ 判別関数記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】