特許 7183005 肌解析方法及び肌解析システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-25

(45)【発行日】2022-12-05

(54)【発明の名称】肌解析方法及び肌解析システム

(51)【国際特許分類】

   A61B 5/00 20060101AFI20221128BHJP

   A61B 5/107 20060101ALI20221128BHJP

   G06T 7/00 20170101ALI20221128BHJP

【ＦＩ】

A61B5/00 M ZDM

A61B5/107 110

A61B5/107 800

G06T7/00 660A

【請求項の数】 12

(21)【出願番号】P 2018218557

(22)【出願日】2018-11-21

(65)【公開番号】P2019098168

(43)【公開日】2019-06-24

【審査請求日】2021-09-10

(31)【優先権主張番号】P 2017231333

(32)【優先日】2017-12-01

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000113470

【氏名又は名称】ポーラ化成工業株式会社

(74)【代理人】

【識別番号】100137338

【弁理士】

【氏名又は名称】辻田 朋子

(74)【代理人】

【識別番号】100196313

【弁理士】

【氏名又は名称】村松 大輔

(72)【発明者】

【氏名】平山 賢哉

(72)【発明者】

【氏名】水越 興治

【審査官】▲高▼原 悠佑

(56)【参考文献】

【文献】特表２０１７－５０２７３２（ＪＰ，Ａ）

【文献】特開２０１４－１９３１９７（ＪＰ，Ａ）

【文献】特開２０１６－１９４９０１（ＪＰ，Ａ）

【文献】特開２０００－３３８９８７（ＪＰ，Ａ）

【文献】特開２００９－０９８９０１（ＪＰ，Ａ）

【文献】特開２００９－１６３４２２（ＪＰ，Ａ）

【文献】特開２００６－０８１８４６（ＪＰ，Ａ）

【文献】特開２００５－２４２５６７（ＪＰ，Ａ）

【文献】米国特許出願公開第２００９／０１９６４７５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／００

Ａ６１Ｂ ５／１０７－５／１１

(57)【特許請求の範囲】

【請求項1】

顔の表情変化の動的情報に基づいて肌の特徴を解析する肌解析方法であって、
前記表情変化の過程を表す複数の画像を取得する画像取得工程と、
前記複数の画像について、前記顔の部品の位置を示す複数の顔部品座標を検出する顔部品座標検出工程と、
前記複数の画像について、前記顔部品座標間の距離を算出する距離算出工程と、
前記顔部品座標間の距離の時系列の変化に基づいて、前記複数の画像から、前記表情変化が開始する画像及び前記表情変化が終了する画像を特定し、前記表情変化が開始する画像及び前記表情変化が終了する画像の間の画像を解析対象として抽出する解析対象抽出工程と、
前記解析対象抽出工程において抽出された画像を用いて、肌の特徴を解析する解析工程と、を含み、
前記顔部品座標検出工程は、前記顔部品座標として、前記表情変化に連動して距離が変化する２点を検出することを特徴とする肌解析方法。

【請求項2】

前記解析工程は、頬部分の肌の特徴を解析する工程を含むことを特徴とする、請求項１に記載の肌解析方法。

【請求項3】

前記複数の画像は、前記顔を通る鉛直方向の軸まわりに正面を０度として０～９０度の範囲で回転させた前記顔の表情変化を表す複数の画像を含むことを特徴とする、請求項１又は請求項２に記載の肌解析方法。

【請求項4】

前記複数の画像は、前記顔を通る鉛直方向の軸まわりに正面を０度として２０～３０度の範囲で回転させた前記顔の表情変化を表す複数の画像を含むことを特徴とする、請求項１又は請求項２に記載の肌解析方法。

【請求項5】

前記表情変化は、頬部分の肌を縦方向に伸縮させる縦方向表情変化と、頬部分の肌を横方向に伸縮させる横方向表情変化と、のうち少なくとも何れかを含むことを特徴とする、請求項２～４の何れかに記載の肌解析方法。

【請求項6】

前記表情変化は、前記頬部分の肌を同じ方向に伸縮させる表情変化を複数種類含み、
前記解析対象抽出工程は、各種の表情変化が開始する画像及び終了する画像を特定し、前記各種の表情変化が開始する画像及び終了する画像の間の画像を解析対象として抽出することを特徴とする、請求項５に記載の肌解析方法。

【請求項7】

前記画像取得工程、前記顔部品座標検出工程、前記距離算出工程及び前記解析対象抽出工程は、前記縦方向表情変化を含む前記複数の画像と、前記横方向表情変化を含む前記複数の画像と、のそれぞれについて実行され、
前記解析工程は、前記解析対象抽出工程においてそれぞれ抽出された、前記縦方向表情変化を含む複数の画像の中の解析対象及び前記横方向表情変化を含む複数の画像の中の解析対象を用いて、肌の特徴を解析することを特徴とする、請求項５又は請求項６に記載の肌解析方法。

【請求項8】

前記距離算出工程及び前記解析対象抽出工程の間に、前記表情変化の大きさを評価する表情動作評価工程を含み、
前記表情動作評価工程は、前記顔部品座標間の距離の変化に基づいて前記表情変化の大きさを評価し、前記表情変化の大きさが所定の値を上回った場合に解析対象抽出工程に進むことを特徴とする、請求項１～７の何れかに記載の肌解析方法。

【請求項9】

前記距離算出工程は、前記顔部品座標間の距離を複数算出する工程を含み、
前記解析対象抽出工程は、複数の前記顔部品座標間の距離に基づいて、前記複数の画像から、前記表情変化が開始する画像及び前記表情変化が終了する画像を特定し、前記表情変化が開始する画像及び前記表情変化が終了する画像の間の画像を解析対象として抽出することを特徴とする、請求項１～８の何れかに記載の肌解析方法。

【請求項10】

前記顔部品座標は、少なくとも唇輪郭の位置を示す座標を含むことを特徴とする、請求項１～９の何れかに記載の肌解析方法。

【請求項11】

前記距離算出工程は、前記顔部品座標間の距離を標準化する為の基準距離を算出する基準距離算出工程を更に含み、
前記解析対象抽出工程は、前記基準距離に基づいて前記顔部品座標間の距離を標準化した値を用いて、前記表情変化が開始する画像及び前記表情変化が終了する画像を特定することを特徴とする、請求項１～１０の何れかに記載の肌解析方法。

【請求項12】

顔の表情変化の動的情報に基づいて肌の特徴を解析する肌解析システムであって、
前記表情変化の過程を表す複数の画像を取得する画像取得手段と、
前記複数の画像について、前記顔の部品の座標を示す複数の顔部品座標を検出する顔部品座標検出手段と、
前記複数の画像について、前記顔部品座標間の距離を算出する距離算出手段と、
前記顔部品座標間の距離の時系列の変化に基づいて、前記複数の画像から、前記表情変化が開始する画像及び前記表情変化が終了する画像を特定し、前記表情変化が開始する画像及び前記表情変化が終了する画像の間の画像を解析対象として抽出する解析対象抽出手段と、
前記解析対象抽出手段において抽出された画像を用いて、肌の特徴を解析する解析手段と、を備え、
前記顔部品座標検出手段が、前記顔部品座標として、前記表情変化に連動して距離が変化する２点を検出する手段であることを特徴とする肌解析システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、肌解析方法及び肌解析システムに関するものである。

【背景技術】

【0002】

近年、人の見た目の印象を客観的に推定する技術について研究が行われている。例えば、特許文献１には、少なくとも１つの音を発出する間に撮影された人の顔画像のシーケンスから、音の発出と同時に起こる１つまたは複数の画像を抽出し、臨床徴候を評価する技術が公開されている。

【0003】

また、特許文献２には、被験者の目尻のような解析領域に予め複数の追跡点を配置して動画像を撮影し、表情の変化に伴う追跡点の変化量を追跡して肌の圧縮率を取得することによって、被験者の肌状態を解析する技術が公開されている。

【0004】

更に、特許文献３には、動的情報を用いて顔の見た目印象と相関関係が高い因子を抽出する方法と、その因子に基づいて顔の見た目印象を鑑別する方法についての技術が公開されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１７－５０２７３２

【文献】特開２０１４－１９３１９７

【文献】特開２０１６－１９４９０１

【発明の概要】

【発明が解決しようとする課題】

【0006】

先述の通り、人物の顔を含む動画を解析して肌を評価する技術について研究されてきた。また、出願人は、表情変化の過程を表す動画を用いて肌の運動特性を解析することにより、皮膚の構造状態を解析するための研究を行ってきた。このような解析を行う際に、被撮影者の表情変化のタイミングを正確に判定しなければ、正確な解析結果が得られない。そのため、表情動作の開始時点と終了時点を正確に特定し、入力される動画から顔の動きを解析したい部分を抽出する精度を向上させることが求められていた。

【0007】

特許文献１においては、表情変化に伴って被撮影者に音声を発出させ、動画と同時に記録して、音の分析から解析対象の画像を抽出する技術が開示されている。しかし、表情変化は必ずしも音の発出と同時に起こるわけではないため、解析対象の抽出の精度については課題があった。また、音声を発することは、撮影場所によっては被撮影者にとって負担になり、更に集音器が必要になるという課題があった。

【0008】

そこで、本発明は、表情変化の過程を表す複数の画像から、表情変化が開始する画像及び終了する画像を特定して解析対象を抽出し、高い精度で肌解析を行うことができる、肌解析方法及び肌解析システムを提供することを課題とする。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明は、顔の表情変化の動的情報に基づいて肌の特徴を解析する肌解析方法であって、
前記表情変化の過程を表す複数の画像を取得する画像取得工程と、
前記複数の画像について、前記顔の部品の位置を示す複数の顔部品座標を検出する顔部品座標検出工程と、
前記複数の画像について、前記顔部品座標間の距離を算出する距離算出工程と、
前記顔部品座標間の距離の時系列の変化に基づいて、前記複数の画像から、前記表情変化が開始する画像及び前記表情変化が終了する画像を特定し、前記表情変化が開始する画像及び前記表情変化が終了する画像の間の画像を解析対象として抽出する解析対象抽出工程と、
前記解析対象抽出工程において抽出された画像を用いて、肌の特徴を解析する解析工程と、を含むことを特徴とする。

【0010】

このように、表情変化の過程を表す画像から、顔部品座標間の距離の変化に基づいて表情変化の始点と終点を特定することにより、画像から直接的に表情変化のタイミングを特定することができる。これにより、音声等に基づいて表情変化のタイミングを特定する場合に比べ、より正確に解析対象の抽出を行うことが可能になる。また、集音器がない場合や、声を発出することに抵抗があるような場所でも被撮影者への負担を強いることなく、表情変化のタイミングを特定し、画像を用いた肌解析を行うことができる。

【0011】

本発明の好ましい形態では、前記解析工程は、頬部分の肌の特徴を解析する工程を含むことを特徴とする。
このように、頬部分の肌の特徴を解析することで、顔全体に占める面積が大きく印象を左右しやすい部分についての解析結果が得られる。

【0012】

本発明の好ましい形態では、前記複数の画像は、前記顔を通る鉛直方向の軸まわりに正面を０度として０～９０度の範囲で回転させた前記顔の表情変化を表す複数の画像を含むことを特徴とする。
このように、正面から０～９０度の範囲で回転させた角度から顔を撮影した画像を用いて解析を行うことで、頬部分や目尻等、顔の印象を左右しやすい部分の肌をより広く含む画像を取得することができるため、顔の印象を左右しやすい部分の肌について、肌解析をより正確に行うことができる。

【0013】

本発明の好ましい形態では、前記複数の画像は、前記顔を通る鉛直方向の軸まわりに正面を０度として２０～３０度の範囲で回転させた前記顔の表情変化を表す複数の画像を含むことを特徴とする。
このように、正面から２０～３０度の範囲で回転させた角度から顔を撮影した画像を用いることで、正面から撮影した画像を用いる場合に比べて頬部分や目尻等、顔の印象を左右しやすい部分の肌を広く含む画像を取得して、顔の印象を左右しやすい部分の肌についてより正確に肌解析を行うことができる。また、３０度より大きく回転させた角度から顔を撮影した画像を用いる場合に比べて高い精度で顔部品座標を検出できるため、表情変化が開始する画像及び表情変化が終了する画像の抽出を正確に行うことができる。

【0014】

本発明の好ましい形態では、前記顔部品座標検出工程は、
前記顔部品座標として、前記表情変化に連動して距離が変化する２点を検出することを特徴とする。
このように、表情変化に連動して距離が変化する２点を顔部品座標として検出することにより、２点間の距離を用いて表情変化が開始する画像及び表情変化が終了する画像をより正確に特定することができる。

【0015】

本発明の好ましい形態では、前記表情変化は、頬部分の肌を縦方向に伸縮させる縦方向表情変化と、頬部分の肌を横方向に伸縮させる横方向表情変化と、のうち少なくとも何れかを含むことを特徴とする。
このように、頬部分の肌を特定の方向に伸縮させる表情変化の過程を表す複数の画像を用いることにより、肌を特定の方向に伸縮させた際の皮膚の運動特性を解析することが可能になる。

【0016】

本発明の好ましい形態では、前記表情変化は、前記頬部分の肌を同じ方向に伸縮させる表情変化を複数種類含み、
前記解析対象抽出工程は、各種の表情変化が開始する画像及び終了する画像を特定し、前記各種の表情変化が開始する画像及び終了する画像の間の画像を解析対象として抽出することを特徴とする。
このように、頬部分の肌を同じ方向に伸縮させる表情変化を複数種類含む画像を取得することにより、特定の方向の肌の伸縮に伴う皮膚の運動特性をより詳細に解析することができる。

【0017】

本発明の好ましい形態では、前記画像取得工程、前記顔部品座標検出工程、前記距離算出工程及び前記解析対象抽出工程は、前記縦方向表情変化を含む前記複数の画像と、前記横方向表情変化を含む前記複数の画像と、のそれぞれについて実行され、
前記解析工程は、前記解析対象抽出工程においてそれぞれ抽出された、前記縦方向表情変化を含む複数の画像の中の解析対象及び前記横方向表情変化を含む複数の画像の中の解析対象を用いて、肌の特徴を解析することを特徴とする。
このように、縦方向表情変化及び横方向表情変化についてそれぞれ解析対象を抽出して解析を行うことにより、異なる方向の肌の運動特性を得ることができ、より詳細な解析を行うことが可能になる。

【0018】

本発明の好ましい形態では、前記距離算出工程及び前記解析対象抽出工程の間に、前記表情変化の大きさを評価する表情動作評価工程を含み、
前記表情動作評価工程は、前記顔部品座標間の距離の変化に基づいて前記表情変化の大きさを評価し、前記表情変化の大きさが所定の値を上回った場合に解析対象抽出工程に進むことを特徴とする。
このように、表情変化の大きさを評価することで、所定の基準に満たない場合に再度撮影を指示するなどして再度画像の取得を行い、表情変化の大きさが肌解析を行う為に十分である一連の画像に対して肌解析を実行することができる。これにより、肌解析の精度を向上させることができる。

【0019】

本発明の好ましい形態では、前記距離算出工程は、前記顔部品座標間の距離を複数算出する工程を含み、
前記解析対象抽出工程は、複数の前記顔部品座標間の距離に基づいて、前記複数の画像から、前記表情変化が開始する画像及び前記表情変化が終了する画像を特定し、前記表情変化が開始する画像及び前記表情変化が終了する画像の間の画像を解析対象として抽出することを特徴とする。
このように、顔部品座標間の距離を複数用いることにより、表情変化が開始する画像及び表情変化が終了する画像の特定をより精度よく行うことができる。また、複数の種類の表情変化について、解析対象の抽出が可能になる。

【0020】

本発明の好ましい形態では、前記顔部品座標は、少なくとも唇輪郭の位置を示す座標を含むことを特徴とする。
このように、唇輪郭の位置を示す座標を顔部品座標として検出することにより、個人ごとの表情動作の癖による解析対象抽出への影響を小さくする効果が期待できる。また、唇輪郭の位置を示す座標は表情動作に連動した移動が大きいため、表情変化が開始する画像及び表情変化が終了する画像をより正確に特定することができる。

【0021】

本発明の好ましい形態では、前記距離算出工程は、前記顔部品座標間の距離を標準化する為の基準距離を算出する基準距離算出工程を更に含み、
前記解析対象抽出工程は、前記基準距離に基づいて前記顔部品座標間の距離を標準化した値を用いて、前記表情変化が開始する画像及び前記表情変化が終了する画像を特定することを特徴とする。
このように、基準距離に基づいて顔部品座標間の距離を標準化することで、顔の大きさ等の個人差や撮影時の倍率、カメラとの距離等による影響を軽減することができる。これにより、更に正確に表情変化のタイミングを特定し、解析対象を抽出することができる。

【0022】

本発明は、顔の表情変化の動的情報に基づいて肌の特徴を解析する肌解析システムであって、
前記表情変化の過程を表す複数の画像を取得する画像取得手段と、
前記複数の画像について、前記顔の複数の顔部品座標を検出する顔部品座標検出手段と、
前記複数の画像について、前記顔部品座標間の距離を算出する距離算出手段と、
前記顔部品座標間の距離の時系列の変化に基づいて、前記複数の画像から、前記表情変化が開始する画像及び前記表情変化が終了する画像を特定し、前記表情変化が開始する画像及び前記表情変化が終了する画像の間の画像を解析対象として抽出する解析対象抽出手段と、
前記解析対象抽出手段において抽出された画像を用いて、肌の特徴を解析する解析手段と、を備えることを特徴とする。

【発明の効果】

【0023】

表情変化の過程を表す複数の画像から、表情変化が開始する画像及び表情変化が終了する画像を特定し、解析対象となる画像の抽出を行うことができ、精度の高い肌解析を行うことができる。

【図面の簡単な説明】

【0024】

【図1】本発明の実施形態１において被撮影者が再現する表情の模式図である。

【図2】本発明の実施形態１に係る肌解析システムの機能ブロック図である。

【図3】本発明の実施形態１に係る肌解析方法を示すフローチャートである。

【図4】本発明の実施形態１における画像取得から解析対象の抽出までの処理を示すフローチャートである。

【図5】本発明の実施形態１における被撮影者の撮影方向を示す図である。

【図6】本発明の実施形態１における顔部品座標間の距離を示す図である。

【図7】本発明の実施形態１における解析対象抽出工程の処理を示すフローチャートである。

【図8】本発明の実施形態２における顔部品座標間の距離の一例を示す図である。

【図9】本発明の実施形態２における基準距離の一例を示す図である。

【発明を実施するための形態】

【0025】

＜実施形態１＞
以下、本発明の一実施形態について、図面を参照して詳細に説明する。なお、以下において顔部品座標とは、顔の動きを追跡して表情の変化を解析する為の、顔上の部品の位置を示す座標である。本発明において部品とは、目、鼻、顔の輪郭、等のような任意の特徴を示す。例えば、唇輪郭の上下端の点や左右端等の点を顔部品座標として検出し、用いることができる。

【0026】

また、解析対象とは、肌解析の対象とする画像の集合である。本実施形態においては、表情変化が開始する画像と表情変化が終了する画像を特定し、その間に含まれる表情変化の最中の画像を用いて動きを解析することにより肌解析を行う。

【0027】

なお、本実施形態においては、表情変化として頬部分の肌を縦方向に伸縮させる縦方向表情変化の過程を表す動画と、頬部分の肌を横方向に伸縮させる横方向表情変化の過程を表す動画と、をそれぞれ取得し、その各々について解析対象を抽出して肌解析を行う。

【0028】

図１は本実施形態において被撮影者が再現する表情を示す図である。本実施形態においては、被撮影者はここに示すように、無表情（図１（ａ））と、口を縦に開く表情（以下「あ」の表情、図１（ｂ））と、口を横に開く表情（以下「い」の表情、図１（ｃ））と、口をすぼめる表情（以下「う」の表情、図１（ｄ））と、の４つの表情をとる。

【0029】

本実施形態においては、縦方向表情変化として、無表情、「あ」の表情、「う」の表情、「あ」の表情、「う」の表情、無表情、の順に被撮影者が表情を再現する。即ち、無表情から「あ」の表情への縦方向表情変化と、「あ」の表情から「う」の表情への縦方向表情変化と、「う」の表情から「あ」の表情への縦方向表情変化と、「う」の表情から無表情への縦方向表情変化と、を含む動画を取得して肌解析を行う。

【0030】

また、横方向表情変化として、無表情、「い」の表情、「う」の表情、「い」の表情、「う」の表情、無表情、の順に被撮影者が表情を再現する。即ち、無表情から「い」の表情への横方向表情変化と、「い」の表情から「う」の表情への横方向表情変化と、「う」の表情から「い」の表情への横方向表情変化と、「う」の表情から無表情への横方向表情変化と、を含む動画を取得して肌解析を行う。

【0031】

図２は、本実施形態に係る肌解析システムの機能ブロック図である。本実施形態に係る肌解析システムは、サーバ装置１と、端末装置２と、が通信可能に構成される。なお、図２における各手段間の矢印は、情報の流れや指示の方向を表している。

【0032】

サーバ装置１は、縦方向表情変化解析対象抽出部と、横方向表情変化解析対象抽出部と、記憶手段１６と、解析手段１７と、を備える。また、縦方向表情変化解析対象抽出部及び横方向表情変化解析対象抽出部はそれぞれ、画像取得手段１１と、顔部品座標検出手段１２と、距離算出手段１３と、表情動作評価手段１４と、解析対象抽出手段１５と、を備える。

【0033】

記憶手段１６は、画像取得手段１１が取得した画像の情報、顔部品座標検出手段１２が検出した顔部品座標、距離算出手段１３が算出した顔部品座標間の距離、解析対象抽出手段１５が特定した表情変化が開始する画像及び終了する画像の情報、等を記憶する。

【0034】

サーバ装置１としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算装置、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の主記憶装置、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ等の補助記憶装置、端末装置２との通信手段を含む種々の入出力装置等を備えた、サーバ機器等の一般的なコンピュータ装置を利用することができる。より詳細には、補助記憶装置に予め、あるいは記録媒体からの複製等によって、後述する各手段としてサーバ装置１を動作させるためのプログラムを格納しておき、それらのプログラムを主記憶装置上に展開して演算装置による演算を行い、入出力手段の制御等を行うことで、コンピュータ装置を本実施形態に係る肌解析システムにおけるサーバ装置１として利用することができる。

【0035】

端末装置２は、顔の表情変化の過程を撮影する撮像手段２１と、撮影した画像や肌解析結果等を表示する表示手段２２と、を備える。端末装置２としては、演算装置、主記憶装置、補助記憶装置、サーバ装置１との通信手段、デジタルカメラ等の撮像手段や、種々の入出力装置等を備えた、一般的なコンピュータ装置を利用することができる。例えば、カメラ機能を備えるタブレット端末等を用いてもよい。具体的には、例えば、後述する各手段として端末装置を動作させるための専用のアプリケーションソフトをインストールすることにより、端末装置を本実施形態に係る肌解析システムにおける端末装置２として利用することができる。

【0036】

図３は、肌解析システムによる、肌解析方法を示すフローチャートである。まず、ステップＳ１１において、縦方向表情変化解析対象抽出部が縦方向表情変化の過程を表す動画について解析対象を抽出する。次に、ステップＳ１２において、横方向表情変化解析対象抽出部が横方向表情変化の過程を表す動画について解析対象を抽出する。なお、本実施形態においては、ステップＳ１１の縦方向表情変化解析対象抽出工程の次にステップＳ１２の横方向表情変化解析対象抽出工程を行う構成を示すが、縦方向表情変化解析対象抽出工程及び横方向表情変化解析対象抽出工程を行う順番に制限はなく、これらの順番を逆転させてもよい。

【0037】

ステップＳ１２が終了すると、ステップＳ１１及びステップＳ１２で抽出した解析対象を用いて解析手段１７が解析を行い、解析結果を端末装置２に送信し、端末装置２において表示手段２２が解析結果を表示して処理を終了する。ここで、ステップＳ１３の解析工程においては、解析結果を記憶手段１６が記憶してもよい。

【0038】

図４は、図３のステップＳ１１及びステップＳ１２における縦方向表情変化解析対象抽出工程及び横方向表情変化解析対象抽出工程における処理を示すフローチャートである。なお、これらの工程は縦方向表情変化解析対象抽出部及び横方向表情変化解析対象抽出部においてそれぞれ実行される。つまり、縦方向表情変化解析対象抽出部においては縦方向表情変化を含む動画を、横方向表情変化解析対象抽出部においては横方向表情変化を含む動画をそれぞれ取得し、それぞれの動画について解析対象が抽出される。

【0039】

まず、ステップＳ２１の画像取得工程において、画像取得手段１１は、動画の撮影を促す情報を表示手段２２に表示させ、撮像手段２１が動画の撮影を行う。画像取得手段１１は撮像手段２１によって撮影された動画の情報を取得し、記憶手段１６に記録する。図５は、本実施形態における動画の撮影方向を示す図である。本実施形態においては、画像取得手段１１は、被撮影者の顔を通る鉛直方向の軸まわりに、正面を０度として２０～３０度の範囲で回転した方向から撮像手段２１が撮影した動画の情報を取得する。

【0040】

ステップＳ２１の画像取得工程において撮像手段２１による撮影と画像取得手段１１による動画の取得が完了すると、顔部品座標検出手段１２が、ステップＳ２２の顔部品座標検出工程において、ステップＳ２１で取得した動画に含まれる顔の顔部品座標をフレームごとに複数検出する。ここで、動画に含まれる表情変化に連動して距離が変化する２点の組を少なくとも１組検出する。特に、表情変化の際の頬部分の肌の伸縮に連動して距離が変化する２点の組を少なくとも１組検出することが好ましい。これにより、頬部分の肌を伸縮させる表情変化が開始する画像及び表情変化が終了する画像をより正確に特定することができる。

【0041】

本実施形態においては、縦方向表情変化解析対象抽出部では、唇の上下端の２点と、こめかみ及びあごの２点と、を、横方向表情変化解析対象抽出部では唇輪郭の上下端の２点及び唇輪郭の左右端の２点を、それぞれ組として検出する。

【0042】

ここで、唇の上下端の２点と、こめかみ及びあごの２点と、は、いずれも頬部分の肌を縦方向に伸ばした時に距離が大きくなり、頬部分の肌を縦方向に縮めた時に距離が小さくなる。これにより、各種の縦方向表情変化のタイミングを特定できる。また、唇輪郭の左右端の２点は、頬部分の肌を横方向に伸ばした時に距離が小さくなり、頬部分の肌を横方向に縮めた時に距離が大きくなる。更に、唇輪郭の上下端の２点の距離を用いることで、例えば唇輪郭の左右端の２点の距離変化が小さい「う」の表情から無表情への表情変化等についても、表情変化の開始する画像及び表情変化の終了する画像を特定することができ、各種の横方向表情変化のタイミングを特定できる。

【0043】

このように、顔部品座標検出工程においては、頬部分の肌の伸縮に連動して距離が変化する２点を組として検出することが好ましい。また、このような２点の組を複数検出し、その距離を用いることで、複数種類の表情変化を含む画像に対して、その各種の表情変化の開始する画像及び表情変化の終了する画像を特定することができる。

【0044】

なお、顔部品座標の検出には、一般に知られている任意の方法を用いることができる。例えば、一般に販売されている開発キットを利用して開発したアプリケーションソフトを用いてもよい。開発キットとしては、例えば、Ｆａｃｅ Ｓｅｎｓｉｎｇ Ｅｎｇｉｎｅ（登録商標）（https://www.oki.com/jp/fse/function/#fp,最終閲覧日：平成２９年１１月１６日）等を利用することができる。

【0045】

ステップＳ２２の顔部品座標検出工程において動画全体について顔部品座標の検出が終了すると、ステップＳ２３において、距離算出手段１３が、顔部品座標間の距離を算出する。距離の算出は動画全体の各フレームについて行われ、その算出結果が記憶手段１６に記憶される。

【0046】

図６は、本実施形態において用いる、顔部品座標間の距離を示す図である。図６（ａ）は縦方向表情変化解析対象抽出部で用いられる顔部品座標を、図６（ｂ）は横方向表情変化解析対象抽出部で用いられる顔部品座標をそれぞれ示す。ここに示すように、本実施形態においては、縦方向表情変化解析対象抽出部では唇の上下端の２点間の距離及びこめかみと顎の２点間の距離を、横方向表情変化解析対象抽出部では唇輪郭の上下端の２点間の距離及び唇輪郭の左右端の２点間の距離を、それぞれ算出する。このように、解析したい一連の表情変化に応じて、用いる顔部品座標を設定することにより、少ない情報で正確に表情変化の開始及び終了を特定することができる。

【0047】

ステップＳ２４の表情動作評価工程においては、ステップＳ２３において算出された顔部品座標間の距離の変化に基づいて表情変化の大きさを評価する。具体的には、例えば、被撮影者が無表情を再現した時の顔部品座標間の距離と、無表情以外の表情（「あ」の表情、「い」の表情、「う」の表情）を再現した時の顔部品座標間の距離と、の比を表情変化の評価値として算出することができる。このように比を用いることで、顔の大きさ等の個人差の影響を小さくすることができる。

【0048】

次に、ステップＳ２５において、ステップＳ２４で算出した評価値を基準値と比較し、基準値を上回った場合にはステップＳ２６の解析対象抽出工程に進む。基準値に満たない場合には、ステップＳ２１の画像取得工程に戻って再度動画の撮影を促す等の方法により再度動画を取得する。再度取得した動画については、ステップＳ２２～ステップＳ２５を行い、顔部品座標検出工程と、距離算出工程と、表情動作評価工程と、のそれぞれの処理が行われる。

【0049】

なお、本実施形態においては、取得する動画には複数の表情変化が含まれるため、表情動作評価工程においては、動画に含まれる全ての表情変化について基準値との比較を行い、全ての表情変化の評価値が基準値を上回った場合に解析対象抽出工程に進む。

【0050】

ステップＳ２６においては、解析対象抽出手段１５が解析対象の抽出を行う。ここで、図４に示す各々の工程は全て、動画全体への処理が完了してから次の工程に移る。即ち、例えば、ステップＳ２４の表情動作評価工程は、ステップＳ２３の距離算出工程において動画を構成する全てのフレームについて顔部品座標の距離の算出が完了してから開始する。

【0051】

図７は、解析対象抽出工程における処理の一例を示すフローチャートである。なお、図７に示す処理は、組として検出された２点の顔部品座標間の距離それぞれについて行われる処理である。本実施形態においては、顔部品座標間の距離を複数用いて解析対象の抽出を行うため、組として検出された２点の顔部品座標間の距離それぞれについてこの処理を行い、その結果の組み合わせによって解析対象を抽出する。具体的には、組として検出された２点の顔部品座標間の距離を用いて解析対象を抽出し、その際に抽出できなかった表情変化に対して他の２点の顔部品座標間の距離を用いて図７に示す処理を行うことで解析対象を抽出することができる。

【0052】

解析対象抽出手段１５は、まず、ステップＳ３１において、フレーム間の顔部品座標間の距離の差分（変化量）の絶対値を算出する。次に、ステップＳ３２において、顔部品座標間の距離の差分が基準値より大きい頂点（極大点）を検出する。すなわち、動画に含まれる複数の表情変化の各々の過程において、最も大きく顔部品座標間の距離が変化した点を検出する。

【0053】

ステップＳ３３においては、ステップＳ３２で検出した頂点の前後で顔部品座標間の距離の差分が基準値を下回るフレームを特定する。これにより、ステップＳ３２で検出した頂点の直前に顔部品座標間の距離の差分が基準値を下回ったフレームを表情変化が開始したフレームとして特定し、同様にして頂点の直後に顔部品座標間の距離の差分が基準値を下回ったフレームを表情変化が終了したフレームとして特定し、記憶手段１６に記録する。これにより、解析対象抽出手段１５は、表情変化の開始したフレームと、終了したフレームと、の間に含まれるフレームを解析対象として抽出する。

【0054】

なお、図７に示した処理を行う際には、適宜フィルタリング等を行ってもよい。例えば、ステップＳ３１において、顔部品座標間の距離の時間変化（各フレームにおける顔部品座標間の距離の変化）に対して低域通過フィルタ（ＬＰＦ：Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）を適用してノイズ除去を行った上で、フレーム間の差分を算出してもよい。この他には、ノイズ除去のために、ステップＳ３１において算出されたフレーム間の顔部品座標間の距離の差分の絶対値について、所定の値に満たない部分を０とする処理等を行うことができる。

【0055】

以上のように、複数の画像から顔の顔部品座標を検出し、顔部品座標間の距離に基づいて表情変化が開始する画像及び表情変化が終了する画像を特定して、その間に含まれる画像を解析対象として抽出することにより、所定の表情変化を含むフレームを精度よく特定できる。これにより、所定の表情変化の際の肌の運動特性をより正確に解析することができ、肌解析の精度を上げることができる。

【0056】

更に、顔部品座標として頬部分の肌の収縮に連動して距離が変化する２点を２組以上検出し、各組の距離を組み合わせて用いることで、複数種類の表情変化を連続して行う様子を撮影した複数の画像について、各種の表情変化の開始する画像及び表情変化の終了する画像を特定することができる。これにより、複数種類の表情変化を含む一連の表情変化に対して、そこに含まれる各種の表情変化のタイミングを一律の処理によって特定することができる。

【0057】

本実施形態においては、例えば、無表情から「あ」の表情への縦方向表情変化と、「あ」の表情から「う」の表情への縦方向表情変化と、「う」の表情から「あ」の表情への縦方向表情変化と、「う」の表情から無表情への縦方向表情変化と、を連続して行う表情変化を撮影した動画に対して、図４に示した処理を行うことができる。これにより、一律の処理で各種の表情変化のタイミングをそれぞれ特定することができる。

【0058】

また、本発明によれば、音声等の画像以外の情報を必要としないため、被撮影者への負担が小さく、集音器等を用いなくても解析対象を抽出することができる。

【0059】

＜実施形態２＞
以下、本発明の他の実施形態について説明する。なお、実施形態１と同様の構成については同一の符号を付して説明を省略する。本実施形態では、顔部品座標として他の点を用いる構成を例示する。また、本実施形態では、顔の大きさ等の個人差や撮影時の倍率、カメラとの距離等による影響を減らすために、顔部品座標間の距離を所定の基準で標準化した値を用いて解析対象の抽出を行う。

【0060】

図８は、本実施形態において縦方向表情変化の解析対象抽出に用いられる顔部品座標の一例を示す図である。このように、本実施形態では、顔部品座標検出工程において、顔部品座標検出手段１２が、唇輪郭の上下端の点に加え、左右の頬のそれぞれ複数の点及び顎部の点の座標を顔部品座標として検出する。そして、距離算出工程（図４のＳ２３）において、距離算出手段１３が、左右の頬の各点と顎部の点との間の距離をそれぞれ算出して、その算出結果に基づいて解析対象が抽出される。

【0061】

このように、顔の左右からそれぞれ複数の点を検出し、表情変化に伴って距離が変化する２点の組を複数用いることで、より精度よく解析対象を抽出することができる。また、横方向表情変化についても同様に、顔部品座標の組を複数用いて解析対象の抽出を行ってもよい。

【0062】

また、本実施形態では、距離算出工程において、顔部品座標間の距離を標準化する為の基準距離を算出する基準距離算出工程が実行される。図９は、本実施形態において用いることができる、基準距離の例を示す図である。本実施形態では、左右の目の距離（図示例における「Ａ」の距離）を基準距離として用いて、顔部品座標間の距離を標準化する。具体的には、例えば、Ａの距離を算出し、顔部品座標間の距離を全てＡで除算する等の方法で、顔部品座標間の距離を標準化することができる。

【0063】

この他、左右の目を結ぶ線分から顎先に降ろした垂線の長さ（図示例における「Ｂ」の距離）等、個人差等による影響を是正できると考えられる任意の距離を、基準距離として用いることが好ましい。また、基準距離を複数組み合わせて、顔部品座標間の距離を標準化する構成としてもよい。なお、基準距離としては、顔上の任意の特徴を示す点に関する距離を用いればよく、特に制限はない。

【0064】

そして、表情動作評価工程（図４のＳ２４）～解析対象抽出工程（図４のＳ２６）においては、顔部品座標間の距離を基準距離によって標準化した値を用いて、解析対象の抽出が行われる。ここでの処理は実施形態１と同様であり、本実施形態では、顔部品座標間の距離の代わりに、基準距離によって標準化された値を用いる。

【0065】

以上のようにして、本実施形態では、顔部品座標間の距離を標準化した値を用いて、解析対象を抽出する。このようにすることで、個人差の影響を低減してより精度よく解析対象を抽出することができる。

【0066】

なお、上記の各実施形態において説明した構成は本発明の一例であり、本発明はこれらの実施形態に限定されない。例えば、用いる顔部品座標の内容や数は任意に決定すればよく、より効果的に距離の変化を分析できるように構成することが好ましい。また、各工程の実行順序等も任意に変更してよく、例えば一部の処理を並行して実行してもよい。この他、本発明の趣旨を変更しない範囲で任意に構成を変更することができる。

【符号の説明】

【0067】

１ サーバ装置
１１ 画像取得手段
１２ 顔部品座標検出手段
１３ 距離算出手段
１４ 表情動作評価手段
１５ 解析対象抽出手段
１６ 記憶手段
１７ 解析手段
２ 端末装置
２１ 撮像手段
２２ 表示手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】