特許 7356927 肌解析方法、肌解析システム及び肌解析プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-27

(45)【発行日】2023-10-05

(54)【発明の名称】肌解析方法、肌解析システム及び肌解析プログラム

(51)【国際特許分類】

   A61B 5/00 20060101AFI20230928BHJP

   A61B 5/11 20060101ALN20230928BHJP

【ＦＩ】

A61B5/00 M

A61B5/11 320

【請求項の数】 34

(21)【出願番号】P 2020021669

(22)【出願日】2020-02-12

(65)【公開番号】P2020131026

(43)【公開日】2020-08-31

【審査請求日】2022-12-09

(31)【優先権主張番号】P 2019022986

(32)【優先日】2019-02-12

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000113470

【氏名又は名称】ポーラ化成工業株式会社

(74)【代理人】

【識別番号】110004163

【氏名又は名称】弁理士法人みなとみらい特許事務所

(74)【代理人】

【識別番号】100137338

【弁理士】

【氏名又は名称】辻田 朋子

(74)【代理人】

【識別番号】100196313

【弁理士】

【氏名又は名称】村松 大輔

(72)【発明者】

【氏名】水越 興治

(72)【発明者】

【氏名】平山 賢哉

(72)【発明者】

【氏名】▲濱▼中 祥弘

【審査官】蔵田 真彦

(56)【参考文献】

【文献】特開２０１８－１１５９１３（ＪＰ，Ａ）

【文献】特開２００２－０３４９３０（ＪＰ，Ａ）

【文献】中国特許出願公開第１０８０５６７５９（ＣＮ，Ａ）

【文献】特表２００９－５１８１２５（ＪＰ，Ａ）

【文献】国際公開第０１／０５２７２４（ＷＯ，Ａ１）

【文献】国際公開第２０１７／２２１７９８（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１６／０１７４８７８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／００－５／０１、５／０６－５／２２

(57)【特許請求の範囲】

【請求項1】

顔の表情変化によって生じる皮膚変化の物理量と皮膚の粘弾性との相関関係に基づいて、被験者についての前記物理量の測定値から被験者の皮膚の粘弾性を算出することを特徴とする、肌解析方法であって、
前記物理量は、前記表情変化の過程を含む動画に基づいて測定されることを特徴とし、
前記動画は、被験者の顔を通る鉛直方向の軸まわりに正面を０度として２０～３０度の範囲で回転させた方向から撮影されることを特徴とし、
前記動画は、被験者を正面から捉えた状態を初期位置とし、前記初期位置からの撮影装置の回転角度を取得し、前記回転角度が２０～３０度の範囲内である場合に前記動画の撮影を許可し、前記許可に基づいて撮影されることを特徴とする、肌解析方法。

【請求項2】

前記粘弾性は、真皮の粘弾性及び皮下の粘弾性の内、少なくとも何れかを含むことを特徴とする、請求項１に記載の肌解析方法。

【請求項3】

前記物理量及び粘弾性の測定値の組を複数入力することによって作成された粘弾性算出モデルを用いて、被験者についての前記物理量の測定値から被験者の皮膚の粘弾性を算出することを特徴とする、請求項１又は請求項２に記載の肌解析方法。

【請求項4】

前記粘弾性と肌のコラーゲン構造との相関関係に基づいて、被験者について算出された前記粘弾性から被験者の肌のコラーゲン構造を推定することを特徴とする、請求項１～３の何れかに記載の肌解析方法。

【請求項5】

前記粘弾性及び肌のコラーゲン構造の測定値の組を複数入力することによって作成されたコラーゲン構造推定モデルを用いて、被験者について算出された前記粘弾性から被験者の肌のコラーゲン構造を推定することを特徴とする、請求項４に記載の肌解析方法。

【請求項6】

前記粘弾性に基づいて、肌の評価値を１又は複数算出することを特徴とする、請求項１～５の何れかに記載の肌解析方法。

【請求項7】

前記粘弾性の算出結果に基づく情報を含む解析結果を出力することを特徴とする、請求項１～６の何れかに記載の肌解析方法。

【請求項8】

前記粘弾性の算出結果に基づく情報とともに、前記物理量の測定値に基づく情報を含む解析結果を出力することを特徴とする、請求項７に記載の肌解析方法。

【請求項9】

顔の表情変化によって生じる皮膚変化の物理量と皮膚のコラーゲン構造との相関関係に基づいて、被験者についての前記物理量の測定値から被験者の皮膚のコラーゲン構造を推定することを特徴とする、肌解析方法であって、
前記物理量は、前記表情変化の過程を含む動画に基づいて測定されることを特徴とし、
前記動画は、被験者の顔を通る鉛直方向の軸まわりに正面を０度として２０～３０度の範囲で回転させた方向から撮影されることを特徴とし、
前記動画は、被験者を正面から捉えた状態を初期位置とし、前記初期位置からの撮影装置の回転角度を取得し、前記回転角度が２０～３０度の範囲内である場合に前記動画の撮影を許可し、前記許可に基づいて撮影されることを特徴とする、肌解析方法。

【請求項10】

前記コラーゲン構造の推定結果に基づく情報を含む解析結果を出力することを特徴とする、請求項９に記載の肌解析方法。

【請求項11】

前記コラーゲン構造の推定結果に基づく情報とともに、前記物理量の測定値に基づく情報を含む解析結果を出力することを特徴とする、請求項１０に記載の肌解析方法。

【請求項12】

前記動画を撮影するための画面において、被験者の顔における顔部品の位置を合わせるためのガイドを表示することを特徴とする、請求項１～１１の何れかに記載の肌解析方法。

【請求項13】

前記動画として、被験者の顔を通る鉛直方向の軸まわりに正面を０度として時計回りに２０～３０度の範囲で回転させた方向から撮影された動画と、被験者の顔を通る鉛直方向の軸まわりに正面を０度として反時計回りに２０～３０度の範囲で回転させた方向から撮影された動画と、の両方を用いることを特徴とする、請求項１～１２の何れかに記載の肌解析方法。

【請求項14】

前記物理量は、前記顔に含まれる特徴点の移動の速度の大きさ、速度の方向、加速度の大きさ、加速度の方向の内、少なくとも１つに基づいて測定されることを特徴とする、請求項１～１３の何れかに記載の肌解析方法。

【請求項15】

前記物理量は、肌の追従性、伸縮性及び変形性から選ばれることを特徴とする、請求項１～１４の何れかに記載の肌解析方法。

【請求項16】

前記物理量と、表皮の水分量との相関関係に基づいて、被験者についての前記物理量の測定値から被験者の表皮の水分量を算出することを特徴とする、請求項１～１５の何れかに記載の肌解析方法。

【請求項17】

前記物理量及び水分量の測定値の組を複数入力することによって作成された水分量算出モデルを用いて、被験者についての前記物理量の測定値から被験者の前記水分量を算出することを特徴とする、請求項１６に記載の肌解析方法。

【請求項18】

顔の表情変化時の皮膚の動きに基づいて被験者の肌を解析する、肌解析システムであって、
前記表情変化によって生じる皮膚変化の物理量を測定する物理量測定手段と、
前記物理量と皮膚の粘弾性との相関関係を記憶する記憶手段と、
前記物理量と皮膚の粘弾性との相関関係に基づいて、被験者についての前記物理量の測定値から被験者の皮膚の粘弾性を算出する粘弾性算出手段と、を備え、
前記表情変化の過程を含む動画を取得する動画取得手段を更に備え、
前記物理量測定手段は、前記動画に基づいて前記物理量を測定することを特徴とし、
前記動画取得手段は、被験者の顔を通る鉛直方向の軸まわりに正面を０度として２０～３０度の範囲で回転させた方向から、被験者の顔を撮影した動画を取得することを特徴とし、
前記動画取得手段は、被験者を所定の条件で撮影するための端末装置によって撮影された前記動画を取得し、
前記端末装置は、
被験者を正面から捉えた状態を初期位置とし、前記初期位置からの前記端末装置の回転角度を取得する手段と、
前記回転角度が２０～３０度の範囲内である場合に前記動画の撮影を許可する手段と、
前記許可に基づいて前記動画を撮影する手段と、を備えることを特徴とする、肌解析システム。

【請求項19】

前記粘弾性算出手段は、真皮の粘弾性及び皮下の粘弾性の内、少なくとも何れかを算出することを特徴とする、請求項１８に記載の肌解析システム。

【請求項20】

前記記憶手段は、前記物理量及び粘弾性の測定値の組を複数入力することによって作成された粘弾性算出モデルを記憶し、
前記粘弾性算出手段は、前記粘弾性算出モデルを用いて、被験者について測定された前記物理量から前記粘弾性を算出することを特徴とする、請求項１８又は１９に記載の肌解析システム。

【請求項21】

前記記憶手段が、前記粘弾性と肌のコラーゲン構造との相関関係を記憶し、
前記粘弾性と肌のコラーゲン構造との相関関係に基づいて、被験者について算出された前記粘弾性から被験者の肌のコラーゲン構造を推定するコラーゲン構造推定手段を更に備えることを特徴とする、請求項１８～２０の何れかに記載の肌解析システム。

【請求項22】

前記記憶手段は、前記粘弾性及び肌のコラーゲン構造の測定値の組を複数入力すること
によって作成されたコラーゲン構造推定モデルを記憶し、
前記コラーゲン構造推定手段は、前記コラーゲン構造推定モデルを用いて、被験者について算出された前記粘弾性から被験者の肌のコラーゲン構造を推定することを特徴とする、請求項２１に記載の肌解析システム。

【請求項23】

前記被験者の皮膚の粘弾性に基づいて、肌の評価値を１又は複数算出する評価手段を更に備えることを特徴とする、請求項１８～２２の何れかに記載の肌解析システム。

【請求項24】

前記粘弾性の算出結果に基づく情報を含む解析結果を出力する出力手段を更に備えることを特徴とする、請求項１８～２３の何れかに記載の肌解析システム。

【請求項25】

前記出力手段は、前記粘弾性の算出結果に基づく情報とともに、前記物理量の測定値に基づく情報を含む解析結果を出力することを特徴とする、請求項２４に記載の肌解析システム。

【請求項26】

顔の表情変化時の皮膚の動きに基づいて被験者の肌を解析する、肌解析システムであって、
前記表情変化によって生じる皮膚変化の物理量を測定する物理量測定手段と、
前記物理量と皮膚のコラーゲン構造との相関関係を記憶する記憶手段と、
前記物理量と皮膚のコラーゲン構造との相関関係に基づいて、被験者についての前記物理量の測定値から被験者の皮膚のコラーゲン構造を推定するコラーゲン構造推定手段と、を備え、
前記表情変化の過程を含む動画を取得する動画取得手段を更に備え、
前記物理量測定手段は、前記動画に基づいて前記物理量を測定することを特徴とし、
前記動画取得手段は、被験者の顔を通る鉛直方向の軸まわりに正面を０度として２０～３０度の範囲で回転させた方向から、被験者の顔を撮影した動画を取得することを特徴とし、
前記動画取得手段は、被験者を所定の条件で撮影するための端末装置によって撮影された前記動画を取得し、
前記端末装置は、
被験者を正面から捉えた状態を初期位置とし、前記初期位置からの前記端末装置の回転角度を取得する手段と、
前記回転角度が２０～３０度の範囲内である場合に前記動画の撮影を許可する手段と、
前記許可に基づいて前記動画を撮影する手段と、を備えることを特徴とする、肌解析システム。

【請求項27】

前記コラーゲン構造の推定結果に基づく情報を出力する出力手段を更に備えることを特徴とする、請求項２６に記載の肌解析システム。

【請求項28】

前記出力手段は、前記コラーゲン構造の推定結果に基づく情報とともに、前記物理量の測定値に基づく情報を含む解析結果を出力することを特徴とする、請求項２７に記載の肌解析システム。

【請求項29】

前記動画を撮影するための画面において、被験者の顔における顔部品の位置を合わせるためのガイドを表示処理する手段を更に備えることを特徴とする、請求項１８～２８に記載の肌解析システム。

【請求項30】

前記動画取得手段は、被験者の顔を通る鉛直方向の軸まわりに正面を０度として時計回りに２０～３０度の範囲で回転させた方向から撮影された動画と、被験者の顔を通る鉛直方向の軸まわりに正面を０度として反時計回りに２０～３０度の範囲で回転させた方向から撮影された動画と、を取得することを特徴とする、請求項１８～２９の何れかに記載の肌解析システム。

【請求項31】

前記物理量測定手段は、前記顔に含まれる特徴点の移動の速度の大きさ、速度の方向、加速度の大きさ、加速度の方向の内、少なくとも１つに基づいて前記物理量を測定することを特徴とする、請求項１８～３０の何れかに記載の肌解析システム。

【請求項32】

前記物理量測定手段は、前記物理量として、肌の追従性、伸縮性及び変形性のうち何れかを測定することを特徴とする、請求項１８～３１の何れかに記載の肌解析システム。

【請求項33】

前記記憶手段が、前記物理量と表皮の水分量との相関関係を記憶し、
前記物理量と表皮の水分量との相関関係に基づいて、被験者についての前記物理量の測定値から被験者の表皮の水分量を算出する水分量算出手段を更に備えることを特徴とする、請求項１８～３２の何れかに記載の肌解析システム。

【請求項34】

前記記憶手段は、前記物理量及び水分量の測定値の組を複数入力することによって作成された水分量算出モデルを記憶し、
前記水分量算出手段は、前記水分量算出モデルを用いて、被験者について測定された前記物理量から前記水分量を算出することを特徴とする、請求項３３に記載の肌解析システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、肌解析方法、肌解析システム及び肌解析プログラムに関するものである。

【背景技術】

【0002】

近年、動画を利用して人の肌を解析する技術について研究が行われている。例えば、特許文献１には、被験者の目尻のような解析領域に予め複数の追跡点を配置して動画を撮影し、表情の変化に伴う追跡点の変化量を追跡して肌の圧縮率を取得することによって、被験者の肌状態を解析する技術が公開されている。

【0003】

特許文献２には、音を発出する間に撮影された人の顔の画像のシーケンスから、しわ、小じわ等の臨床徴候を評価するプロセスに関する技術が公開されている。

【0004】

また、特許文献３には、動的情報を用いて顔の見た目印象と相関関係が高い因子を抽出する方法と、その因子に基づいて顔の見た目印象を鑑別する方法についての技術が公開されている。特許文献３により、年齢印象の決定部位が頬及び目の周辺部であることが公開されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１４－１９３１９７号公報

【文献】特開２０１７－５０２７３２号公報

【文献】特開２０１６－１９４９０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

先述の通り、人物の顔を含む動画を解析して非侵襲的に肌を評価する技術について広く研究されてきた。しかし、従来の技術は、シワ等の肌表面に現れる徴候を評価するものに過ぎず、非侵襲的に肌の粘弾性やコラーゲン構造等の物性の解析を行うための具体的な方法は開示されていない。そのため、肌の物性を評価するためには、肌の組織を採取したり、肌に接触して力を加え、力学的特性を測定したりする等の方法が必要だった。そこで、本発明では、非侵襲的に肌の物性を解析する新規な方法を提供することを課題とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明に係る肌解析方法は、顔の表情変化によって生じる皮膚変化の物理量と皮膚の粘弾性との相関関係に基づいて、被験者についての前記物理量の測定値から被験者の皮膚の粘弾性を算出することを特徴とする。

【0008】

このように、顔の表情変化によって生じる皮膚変化の物理量と皮膚の粘弾性との相関関係に基づいて、皮膚変化の物理量の測定値から皮膚の粘弾性を算出することで、皮膚の粘弾性の算出を含む肌の解析を非侵襲的に行うことができる。

【0009】

本発明の好ましい形態では、前記粘弾性は、真皮の粘弾性及び皮下の粘弾性の内、少なくとも何れかを含むことを特徴とする。

【0010】

本発明の好ましい形態では、前記物理量及び粘弾性の測定値の組を複数入力することによって作成された粘弾性算出モデルを用いて、被験者についての前記物理量の測定値から被験者の皮膚の粘弾性を算出することを特徴とする。
このように、物理量及び粘弾性の測定データの組を用いて作成された粘弾性算出モデルを用いて粘弾性の算出を行うことで、実例に基づいてより正確に粘弾性の算出を行うことができる。

【0011】

本発明の好ましい形態では、前記粘弾性と肌のコラーゲン構造との相関関係に基づいて、被験者について算出された前記粘弾性から被験者の肌のコラーゲン構造を推定することを特徴とする。
このように、顔の表情変化によって生じる皮膚変化の物理量の測定値から算出される皮膚の粘弾性に基づいて、皮下のコラーゲン構造を推定することにより、皮下のコラーゲン構造の推定を含む肌の解析を非侵襲的に行うことができる。

【0012】

本発明の好ましい形態では、前記粘弾性及び肌のコラーゲン構造の測定値の組を複数入力することによって作成されたコラーゲン構造推定モデルを用いて、被験者について算出された前記粘弾性から被験者の肌のコラーゲン構造を推定することを特徴とする。

【0013】

本発明の好ましい形態では、前記粘弾性に基づいて、肌の評価値を１又は複数算出することを特徴とする。
このように、皮膚の粘弾性に基づいて肌の評価値を算出することにより、被験者にとってわかりやすい結果を示すことができる。

【0014】

本発明の好ましい形態では、前記粘弾性の算出結果に基づく情報を含む解析結果を出力することを特徴とする。

【0015】

本発明の好ましい形態では、前記粘弾性の算出結果に基づく情報とともに、前記物理量の測定値に基づく情報を含む解析結果を出力することを特徴とする。
このように、算出された粘弾性及び測定された物理量に基づく情報をあわせて出力することにより、測定した量と解析結果との対応をユーザが理解しやすくなる。

【0016】

本発明は、顔の表情変化によって生じる皮膚変化の物理量と皮膚のコラーゲン構造との相関関係に基づいて、被験者についての前記物理量の測定値から被験者の皮膚のコラーゲン構造を推定することを特徴とする。
このように、顔の表情変化によって生じる皮膚変化の物理量と皮膚のコラーゲン構造との相関関係に基づいて、皮膚変化の物理量の測定値から皮膚のコラーゲン構造を推定することで、皮膚のコラーゲン構造の推定を含む肌の解析を非侵襲的に行うことができる。

【0017】

本発明の好ましい形態では、前記コラーゲン構造の推定結果に基づく情報を含む解析結果を出力することを特徴とする。

【0018】

本発明の好ましい形態では、前記コラーゲン構造の推定結果に基づく情報とともに、前記物理量の測定値に基づく情報を含む解析結果を出力することを特徴とする。

【0019】

本発明の好ましい形態では、前記物理量は、前記表情変化の過程を含む動画に基づいて測定されることを特徴とする。
このように、動画を用いて物理量を測定することにより、被験者の皮膚に接触せず、より簡単に皮膚の粘弾性を算出することができる。これにより、被験者及び解析を行う者の双方にとっての負担を小さくすることができる。

【0020】

本発明の好ましい形態では、前記動画を撮影するための画面において、被験者の顔における顔部品の位置を合わせるためのガイドを表示することを特徴とする。
このように、動画を撮影するための画面において、顔部品の位置を合わせるためのガイドを表示し、このガイドに従って撮影を行うことで、被験者を適切な距離から適切な位置に収めての画像撮影を行うことができる。

【0021】

本発明の好ましい形態では、前記動画は、被験者の顔を通る鉛直方向の軸まわりに正面を０度として２０～３０度の範囲で回転させた方向から撮影されることを特徴とする。
このように、正面から２０～３０度の範囲で回転させた角度から顔を撮影した画像を用いることで、正面から撮影した画像を用いる場合に比べて頬部分や目尻等、顔の印象を左右しやすい部分の肌を広く含む画像を取得して、顔の印象を左右しやすい部分の肌についてより正確に肌解析を行うことができる。

【0022】

本発明の好ましい形態では、前記動画として、被験者の顔を通る鉛直方向の軸まわりに正面を０度として時計回りに２０～３０度の範囲で回転させた方向から撮影された動画と、被験者の顔を通る鉛直方向の軸まわりに正面を０度として反時計回りに２０～３０度の範囲で回転させた方向から撮影された動画と、の両方を用いることを特徴とする。
このように、異なる方向から撮影した動画を用いることで、左右の表情変化から得られる皮膚変化を総合的に考慮した物理量から、皮膚の物性を解析することができる。

【0023】

本発明の好ましい形態では、前記動画は、
前記被験者を正面から捉えた状態を初期位置とし、前記初期位置からの撮影装置の回転角度を取得し、
前記回転角度が所定の範囲内である場合に前記動画の撮影を許可し、
前記許可に基づいて撮影されることを特徴とする。

【0024】

本発明の好ましい形態では、前記物理量は、前記顔に含まれる特徴点の移動の速度の大きさ、速度の方向、加速度の大きさ、加速度の方向の内、少なくとも１つに基づいて測定されることを特徴とする。

【0025】

本発明の好ましい形態では、前記物理量は、肌の追従性、伸縮性及び変形性から選ばれることを特徴とする。

【0026】

本発明の好ましい形態では、前記物理量と、表皮の水分量との相関関係に基づいて、被験者についての前記物理量の測定値から被験者の表皮の水分量を算出することを特徴とする。
このように、顔の表情変化によって生じる皮膚変化の物理量と表皮の水分量との相関関係に基づいて、物理量の測定値から表皮の水分量を算出することで、表皮の水分量の算出を含む肌の解析を非侵襲的に行うことができる。

【0027】

本発明の好ましい形態では、前記物理量及び水分量の測定値の組を複数入力することによって作成された水分量算出モデルを用いて、被験者についての前記物理量の測定値から被験者の前記水分量を算出することを特徴とする。

【0028】

本発明は、顔の表情変化時の皮膚の動きに基づいて被験者の肌を解析する、肌解析システムであって、
前記表情変化によって生じる皮膚変化の物理量を測定する物理量測定手段と、
前記物理量と皮膚の粘弾性との相関関係を記憶する記憶手段と、
前記物理量と皮膚の粘弾性との相関関係に基づいて、被験者についての前記物理量の測定値から被験者の皮膚の粘弾性を算出する粘弾性算出手段と、を備えることを特徴とする。

【0029】

本発明の好ましい形態では、前記粘弾性算出手段は、真皮の粘弾性及び皮下の粘弾性の内、少なくとも何れかを算出することを特徴とする。

【0030】

本発明の好ましい形態では、前記記憶手段は、前記物理量及び粘弾性の測定値の組を複数入力することによって作成された粘弾性算出モデルを記憶し、
前記粘弾性算出手段は、前記粘弾性算出モデルを用いて、被験者について測定された前記物理量から前記粘弾性を算出することを特徴とする。

【0031】

本発明の好ましい形態では、前記記憶手段が、前記粘弾性と肌のコラーゲン構造との相関関係を記憶し、
前記粘弾性と肌のコラーゲン構造との相関関係に基づいて、被験者について算出された前記粘弾性から被験者の肌のコラーゲン構造を推定するコラーゲン構造推定手段を更に備えることを特徴とする。

【0032】

本発明の好ましい形態では、前記記憶手段は、前記粘弾性及びコラーゲン構造の測定値の組を複数入力することによって作成されたコラーゲン構造推定モデルを記憶し、
前記コラーゲン構造推定手段は、前記コラーゲン構造推定モデルを用いて、被験者について算出された前記粘弾性から被験者の肌のコラーゲン構造を推定することを特徴とする。

【0033】

本発明の好ましい形態では、前記被験者の皮膚の粘弾性に基づいて、肌の評価値を１又は複数算出する評価手段を更に備えることを特徴とする。

【0034】

本発明の好ましい形態では、前記粘弾性の算出結果に基づく情報を含む解析結果を出力する出力手段を更に備えることを特徴とする。

【0035】

本発明の好ましい形態では、前記出力手段は、前記粘弾性の算出結果に基づく情報とともに、前記物理量の測定値に基づく情報を含む解析結果を出力することを特徴とする。

【0036】

本発明は、顔の表情変化時の皮膚の動きに基づいて被験者の肌を解析する、肌解析システムであって、
前記表情変化によって生じる皮膚変化の物理量を測定する物理量測定手段と、
前記物理量と皮膚のコラーゲン構造との相関関係を記憶する記憶手段と、
前記物理量と皮膚のコラーゲン構造との相関関係に基づいて、被験者についての前記物理量の測定値から被験者の皮膚のコラーゲン構造を推定するコラーゲン構造推定手段と、を備えることを特徴とする。

【0037】

本発明の好ましい形態では、前記コラーゲン構造の推定結果に基づく情報を出力する出力手段を更に備えることを特徴とする。

【0038】

前記出力手段は、前記コラーゲン構造の推定結果に基づく情報とともに、前記物理量の測定値に基づく情報を含む解析結果を出力することを特徴とする。

【0039】

本発明の好ましい形態では、前記表情変化の過程を含む動画を取得する動画取得手段を更に備え、
前記物理量測定手段は、前記動画に基づいて前記物理量を測定することを特徴とする。

【0040】

本発明の好ましい形態では、前記動画を撮影するための画面において、被験者の顔における顔部品の位置を合わせるためのガイドを表示処理する手段を更に備えることを特徴とする。

【0041】

本発明の好ましい形態では、前記動画取得手段は、被験者の顔を通る鉛直方向の軸まわりに正面を０度として２０～３０度の範囲で回転させた方向から、被験者の顔を撮影した動画を取得することを特徴とする。

【0042】

本発明の好ましい形態では、前記動画として、被験者の顔を通る鉛直方向の軸まわりに正面を０度として時計回りに２０～３０度の範囲で回転させた方向から撮影された動画と、被験者の顔を通る鉛直方向の軸まわりに正面を０度として反時計回りに２０～３０度の範囲で回転させた方向から撮影された動画と、の両方を用いることを特徴とする。

【0043】

本発明の好ましい形態では、前記動画取得手段は、被験者を所定の条件で撮影するための端末装置によって撮影された前記動画を取得し、
前記端末装置は、
前記被験者を正面から捉えた状態を初期位置とし、前記初期位置からの前記端末装置の回転角度を取得する手段と、
前記回転角度が２０～３０度の範囲内である場合に前記動画の撮影を許可する手段と、
前記許可に基づいて前記動画を撮影する手段と、を備えることを特徴とする。

【0044】

本発明の好ましい形態では、前記物理量測定手段は、前記顔に含まれる特徴点の移動の速度の大きさ、速度の方向、加速度の大きさ、加速度の方向の内、少なくとも１つに基づいて前記物理量を測定することを特徴とする。

【0045】

本発明の好ましい形態では、前記物理量測定手段は、前記物理量として、肌の追従性、伸縮性及び変形性のうち何れかを測定することを特徴とする。

【0046】

本発明の好ましい形態では、前記記憶手段が、前記物理量と表皮の水分量との相関関係を記憶し、
前記物理量と表皮の水分量との相関関係に基づいて、被験者についての前記物理量の測定値から被験者の表皮の水分量を算出する水分量算出手段を更に備えることを特徴とする。

【0047】

本発明の好ましい形態では、前記記憶手段は、前記物理量及び水分量の測定値の組を複数入力することによって作成された水分量算出モデルを記憶し、
前記水分量算出手段は、前記水分量算出モデルを用いて、被験者について測定された前記物理量から前記水分量を算出することを特徴とする。

【0048】

本発明は、顔の表情変化時の皮膚の動きに基づいて被験者の肌を解析するための肌解析プログラムであって、コンピュータを、
前記表情変化によって生じる皮膚変化の物理量を測定する物理量測定手段と、
前記物理量と皮膚の粘弾性との相関関係を記憶する記憶手段と、
前記物理量と皮膚の粘弾性との相関関係に基づいて、被験者についての前記物理量の測定値から被験者の皮膚の粘弾性を算出する粘弾性算出手段と、として機能させることを特徴とする。

【0049】

本発明は、顔の表情変化時の皮膚の動きに基づいて被験者の肌を解析するための肌解析プログラムであって、コンピュータを、
前記表情変化によって生じる皮膚変化の物理量を測定する物理量測定手段と、
前記物理量と皮膚のコラーゲン構造との相関関係を記憶する記憶手段と、
前記物理量と皮膚のコラーゲン構造との相関関係に基づいて、被験者についての前記物理量の測定値から被験者の皮膚のコラーゲン構造を推定するコラーゲン構造推定手段と、として機能させることを特徴とする。

【発明の効果】

【0050】

顔の表情変化の際の皮膚の変化に基づいて、非侵襲的に皮膚の物性を解析することができる。

【図面の簡単な説明】

【0051】

【図1】本発明の一実施形態において被験者が再現する表情の模式図である。

【図2】本発明の一実施形態に係る肌解析システムの機能ブロック図である。

【図3】本発明の一実施形態に係る肌解析方法を示すフローチャートである。

【図4】本発明の一実施形態における動画取得工程の処理を示すフローチャートである。

【図5】本発明の一実施形態における被験者の撮影方向を示す図である。

【図6】本発明の一実施形態における顔部品座標を示す図である。

【図7】本発明の一実施形態における基準距離の一例を示す図である。

【図8】本発明の一実施形態における解析対象抽出工程の処理を示すフローチャートである。

【図9】本発明の一実施形態における移動量測定工程の処理を示すフローチャートである。

【図10】本発明の一実施形態における解析領域の分画パターンを示す図である。

【図11】本発明の一実施形態における粘弾性算出工程の処理の流れを示すフローチャートである。

【図12】本発明の一実施形態における水分量算出工程の処理の流れを示すフローチャートである。

【図13】本発明の一実施形態における皮下の粘弾性に基づく皮下のコラーゲン構造の算出の処理の流れを示すフローチャートである。

【図14】本発明の一実施形態に係る端末装置の外観を示す図である。

【図15】本発明の一実施形態における動画の撮影の流れを示すフローチャートである。

【図16】本発明の一実施形態における動画の撮影角度を示す図である。

【図17】本発明の一実施形態における動画の撮影準備画面の一例を示す図である。

【図18】本発明の一実施形態における動画の撮影画面の一例を示す図である。

【発明を実施するための形態】

【0052】

以下、本発明の一実施形態について、図面を参照して詳細に説明する。本実施形態においては、顔の表情変化の過程を表す動画を取得して、表情変化が開始するフレーム及び表情変化が終了するフレームを特定し、両者の間に撮影されたフレームを対象に解析を行う。

【0053】

本発明において「粘弾性を算出する」とは、粘性と弾性を定量的に評価する値を算出することを指す。本実施形態において、皮膚の粘弾性とは、真皮の粘弾性及び皮下の粘弾性を指す。このような皮膚の粘弾性は、皺やたるみ等の外見上の変化の原因になることから、加齢に伴う肌の老化現象を確認する上での指標となる。

【0054】

また、肌のコラーゲン構造とは、皮下脂肪細胞を包む線維構造の線維化レベルや、真皮のコラーゲン線維の結束の度合いを含む、皮下又は真皮のコラーゲン構造を指す。

【0055】

皮膚は、表皮、真皮及び皮下組織の３層で形成される。表皮や真皮を支える皮下組織の大部分は脂肪細胞が集塊を形成した脂肪小葉から構成される皮下脂肪であり、保温や外力に対する緩衝作用などを有する。脂肪小葉はコラーゲン線維やエラスチン線維などの結合組織等によって周囲が網目状に取り囲まれることで、脂肪細胞を包む線維構造を形成する。

【0056】

本発明者らの鋭意研究の結果、皮下脂肪細胞を包むコラーゲン線維が、加齢と共に線維化することが明らかとなった。このような皮下の線維構造の線維化レベルを表す指標を、本発明では「皮下コラーゲン構造」として推定する。

【0057】

また、加齢に伴い真皮の結合組織が次第に柔軟性、弾力性を失い硬くなっていくことが知られている。これは、結合組織の主成分であるコラーゲン線維が加齢と共に架橋し、結束してしまうことに起因していると考えられている。したがって本発明では、このような真皮のコラーゲン線維の結束の度合いを表す指標を「真皮コラーゲン構造」として推定する。なお、この他にも、コラーゲンの構造を評価する為の任意の指標を用いてよい。

【0058】

本実施形態においては、表情変化の過程における、顔に含まれる特徴点の移動の速度の大きさ、速度の方向、加速度の大きさ、加速度の方向の内、少なくとも１つを示す値（以下、移動量）を測定する。移動量は、各フレームにおける値として求めてもよいし、また、ひとつの表情変化を通しての平均値として求めてもよい。あるいは、頬部、顎部といったように領域を設定し、その領域内における値の積算値や平均値等を求めてもよい。また、本実施形態において、表情変化によって生じる皮膚変化の物理量とは、移動量に基づいて測定される値を指す。

【0059】

なお、以下において顔部品座標とは、顔の動きを追跡して表情の変化を評価する為の、顔上の部品の位置を示す座標である。顔上の部品とは、目、鼻、顔の輪郭、等のような任意の特徴を示す。例えば、唇輪郭の上下端の点や左右端の点等を顔部品座標として検出し、用いることができる。

【0060】

また、解析対象とは、肌解析の対象とする画像の集合である。本実施形態においては、表情変化が開始するフレームと表情変化が終了するフレームを特定し、その間に含まれる表情変化の最中の画像を用いて動きを解析することにより肌解析を行う。

【0061】

なお、本実施形態においては、表情変化として頬部分の肌を縦方向に伸縮させる縦方向表情変化の過程を表す動画と、頬部分の肌を横方向に伸縮させる横方向表情変化の過程を表す動画と、をそれぞれ取得し、その各々の表情変化によって生じる皮膚変化の物理量を動画に基づいて測定して肌解析を行う。このように、肌を特定の方向に伸縮させる表情変化の過程を表す動画を用いることにより、肌を特定の方向に伸縮させた際の皮膚の運動特性を解析することが可能になる。特に、縦方向表情変化及び横方向表情変化の両方について解析を行うことで、より幅広い皮膚の運動特性を調べることができる。

【0062】

図１は本実施形態において被験者が再現する表情を示す図である。本実施形態においては、被験者はここに示すように、無表情（図１（ａ））と、口を縦に開く表情（以下「あ」の表情、図１（ｂ））と、口を横に開く表情（以下「い」の表情、図１（ｃ））と、口をすぼめる表情（以下「う」の表情、図１（ｄ））と、の４つの表情をとる。

【0063】

本実施形態においては、縦方向表情変化として、無表情、「あ」の表情、「う」の表情、「あ」の表情、「う」の表情、無表情、の順に被験者が表情を再現する。即ち、無表情から「あ」の表情への縦方向表情変化と、「あ」の表情から「う」の表情への縦方向表情変化と、「う」の表情から「あ」の表情への縦方向表情変化と、「う」の表情から無表情への縦方向表情変化と、の４種類の縦方向表情変化を含む動画を取得して肌解析を行う。肌解析を行う表情の種類としては、４種類のうち、無表情から「あ」の表情への縦方向表情変化と「う」の表情から無表情への縦方向表情変化の２種類のみを用いてもよい。

【0064】

また、横方向表情変化として、無表情、「い」の表情、「う」の表情、「い」の表情、「う」の表情、無表情、の順に被験者が表情を再現する。即ち、無表情から「い」の表情への横方向表情変化と、「い」の表情から「う」の表情への横方向表情変化と、「う」の表情から「い」の表情への横方向表情変化と、「う」の表情から無表情への横方向表情変化と、の４種類の横方向表情変化を含む動画を取得して肌解析を行う。肌解析を行う表情の種類としては、４種類のうち、無表情から「い」の表情への横方向表情変化と「う」の表情から無表情への横方向表情変化の２種類のみを用いてもよい。ここで、無表情から「う」の表情への表情変化においては、頬部分の肌は縦にも横にも伸縮するため、縦方向表情変化及び横方向表情変化の両方として扱う。

【0065】

このように、本実施形態においては、頬部分の肌を同じ方向に伸縮させる表情変化を複数種類含む動画を取得し、各種の表情変化が開始するフレーム及び終了するフレームを特定して、各種の表情変化が開始するフレームから終了するフレームまでの間の画像を解析対象とする。このように、肌を同じ方向に伸縮させる複数種類の表情変化についてそれぞれ解析対象を特定して解析を行うことで、特定の方向の肌の伸縮に伴う皮膚の運動特性をより詳細に解析することができる。

【0066】

本実施形態においては、このように４種類の縦方向表情変化と４種類の横方向表情変化についてそれぞれ解析対象を抽出し、各解析対象について移動量が測定される。物理量としては、解析対象ごとに測定された複数の移動量の平均値、合計値、各移動量に重みづけして算出された値等、移動量から導かれる任意の値を用いることができる。

【0067】

図２は、本実施形態に係る肌解析システムの機能ブロック図である。ここに示すように、本実施形態に係る肌解析システムは、肌解析装置１０と端末装置２０とが通信可能に構成される。肌解析装置１０としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算装置、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の主記憶装置、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ等の補助記憶装置、端末装置２０との通信手段を含む種々の入出力装置等を備えた、サーバ機器等の一般的なコンピュータ装置を利用することができる。より詳細には、補助記憶装置に予め、あるいは記録媒体からの複製等によって、後述する各手段としてコンピュータを動作させるためのプログラムを格納しておき、それらのプログラムを主記憶装置上に展開して演算装置による演算を行い、入出力手段の制御等を行うことで、コンピュータ装置を本実施形態における肌解析装置１０として利用することができる。

【0068】

端末装置２０は、撮影手段２０１と、表示部２０２と、を備えている。端末装置２０としては、演算装置、主記憶装置、補助記憶装置、肌解析装置１０との通信手段、デジタルカメラ等の撮影手段や、種々の入出力装置等を備えた、一般的なコンピュータ装置を利用することができる。例えば、カメラ機能を備えるタブレット端末等を用いてもよい。具体的には、例えば、後述する各手段としてコンピュータ装置を動作させるための専用のアプリケーションソフトをインストールすることにより、コンピュータ装置を本実施形態に係る肌解析システムにおける端末装置２０として利用することができる。

【0069】

本実施形態における肌解析装置１０は、顔の表情変化の過程を撮影した動画を取得する動画取得手段１と、動画取得手段１が取得した動画から表情変化のタイミングを特定して解析対象を抽出する解析対象抽出手段２と、解析対象抽出手段２によって抽出された解析対象における移動量を測定し、移動量に基づいて皮膚変化の物理量を測定する物理量測定手段３と、相関関係データを記憶する記憶手段４と、皮膚の粘弾性の算出、表皮の水分量の算出、皮下のコラーゲン構造の推定を行う解析部５と、解析部５の解析結果に基づいて被験者の肌の評価値を算出する評価手段６と、を備える。

【0070】

本実施形態において、物理量測定手段３は、動画から顔の特徴点を抽出する特徴点抽出手段３１と、特徴点の移動の速度の大きさ、速度の方向、加速度の大きさ、加速度の方向、等を示す動きベクトルを特定し、動きベクトルから移動量を測定する移動量測定手段３２と、移動量に基づいて物理量を測定する移動量解析手段３３と、を備える。

【0071】

記憶手段４は、物理量と粘弾性の相関関係を記憶する。本実施形態において、記憶手段４が記憶する物理量と粘弾性の相関関係は、物理量と皮下の粘弾性の相関関係と、物理量と真皮の粘弾性の相関関係と、を含む。本実施形態においては、記憶手段４はこの他に、物理量と表皮の水分量の相関関係、真皮の粘弾性と真皮コラーゲン構造との相関関係、皮下の粘弾性と皮下コラーゲン構造の相関関係等のデータや、動画取得手段１が取得した動画の情報、解析対象抽出手段２が抽出した解析対象に関する情報、解析結果、等を記憶する。

【0072】

ここで、本実施形態における各種の相関関係データとしては、例えば、各種の値の相互の関係を表す関数や、各種のデータを組として与えることで学習させたモデル等を、算出モデルとして記憶させておくことができる。この他にも、任意の方法で相関関係を表す情報を記憶し、算出に用いてよい。

【0073】

本実施形態において、解析部５は、物理量と粘弾性の相関関係に基づいて、物理量の測定値から粘弾性を算出する粘弾性算出手段５１と、粘弾性と皮下のコラーゲン構造の相関関係に基づいて、算出した粘弾性から肌のコラーゲン構造を推定するコラーゲン構造推定手段５２と、物理量と表皮の水分量の相関関係に基づいて、物理量の測定値から表皮の水分量を算出する水分量算出手段５３と、を備える。粘弾性算出手段５１は、皮下の粘弾性を算出する皮下粘弾性算出手段５１１と、真皮の粘弾性を算出する真皮粘弾性算出手段５１２と、を備える。また、コラーゲン構造推定手段５２は、皮下コラーゲン構造を推定する皮下コラーゲン構造推定手段５２１と、真皮コラーゲン構造を推定する真皮コラーゲン構造推定手段５２２と、を備える。

【0074】

本実施形態において、評価手段６は、真皮粘弾性算出手段５１２が算出した真皮の粘弾性に関する評価値を算出する真皮粘弾性評価手段６１と、皮下粘弾性算出手段５１１が算出した皮下の粘弾性に関する評価値を算出する皮下粘弾性評価手段６２と、真皮コラーゲン構造推定手段５２２が推定した真皮コラーゲン構造に関する評価値を算出する真皮コラーゲン構造評価手段６３と、皮下コラーゲン構造推定手段５２１が推定した皮下コラーゲン構造に関する評価値を算出する皮下コラーゲン構造評価手段６４と、水分量算出手段５３が算出した表皮の水分量に関する評価値を算出する水分量評価手段６５と、を備える。

【0075】

図３は、本実施形態における肌解析方法を示すフローチャートである。なお、本実施形態において、図３におけるステップＳ１１及びステップＳ１２は、縦方向表情変化を含む動画及び横方向表情変化を含む動画のそれぞれに対して行われ、ステップＳ１３からステップＳ１６においては、２種類の動画から測定された複数の移動量に基づいて各工程の処理を行う。このように、肌を異なる方向に伸縮させる複数の表情変化について移動量を測定し、複数の移動量から測定された物理量に基づいて肌の粘弾性を算出することで、より詳細に肌の解析を行うことができる。

【0076】

＜解析対象の抽出＞
まず、ステップＳ１１の動画取得工程において、動画の取得と解析対象の抽出を行う。図４に、動画取得工程における、処理のフローチャートを示す。本実施形態においては、縦方向表情変化を含む動画と、横方向表情変化を含む動画と、を取得し、それぞれに含まれる表情変化の各々について図４に示す処理を実行し、解析対象を抽出する。即ち、図４に示す処理は２種類の動画それぞれについて実行される。ここで、図４に示す各々の工程は全て、ひとつの動画全体への処理が完了してから次の工程に移る。即ち、例えば、ステップＳ２４の表情動作評価工程は、ステップＳ２３の距離算出工程において動画を構成する全てのフレームについて顔部品座標間の距離の算出が完了してから開始する。

【0077】

ステップＳ２１においては、動画取得手段１が、動画の撮影を促す情報を端末装置２０の表示部２０２に表示させ、撮影手段２０１が動画の撮影を行う。動画取得手段１は、撮影手段２０１によって撮影された動画の情報を取得し、記憶手段４に記録する。

【0078】

図５は、本実施形態における被験者の撮影方向を示す図である。本実施形態においては、動画取得手段１は、被験者の顔を通る鉛直方向の軸まわりに、正面を０度として２５度回転した方向から撮影した顔の表情変化の過程を表す動画の情報を取得する。この時、撮影手段２０１が正面からの回転角度を取得し、回転角度が所定の範囲内である場合に撮影を許可する構成としてもよい。回転方向は被験者に向かって右回りでも左回りでもよく、またその両方について解析を行ってもよい。

【0079】

このように、被験者の顔を通る鉛直方向の軸まわりに回転した方向から撮影することが望ましい。より詳細には、この時の回転角度は、正面を０度として２０～３０度の範囲とすることがより好ましい。これにより、顔の印象を左右しやすい頬及び目の周辺部分の肌をより広く含む画像を取得することができるため、このような部分の肌について、肌の解析をより正確に行うことができる。

【0080】

このとき、撮影画面において、目や輪郭等の顔部品の位置を合わせる為のガイドを表示してもよい。例えば、まず顔の位置を合わせる為のガイドを表示し、顔の位置合わせが完了すると、撮影手段２０１の角度に基づいて撮影角度を２０～３０度とするようにガイド表示を行う構成としてもよい。

【0081】

また、本実施形態では、肌解析装置１０は、取得した動画における顔の位置のずれを補正する処理を実行する。具体的には、例えば鼻等の顔部品を基準として、表情動作による顔位置の移動や撮影時の手振れを補正することができる。この時、基準とする顔部品は、解析領域との相対的な位置変化が少ない部位であることが好ましい。

【0082】

なお、動画の撮影を促す情報及びガイドの表示のための処理や、顔の位置のずれの補正等は、肌解析装置１０と端末装置２０のいずれにおいて実行されてもよい。例えば、動画の撮影処理については端末装置２０において完結し、動画取得手段１は、端末装置２０において撮影及び一時保存された動画を単に受信する手段として機能してもよい。

【0083】

次に、ステップＳ２２の顔部品座標検出工程において、解析対象抽出手段２が、ステップＳ２１で取得した動画に含まれる顔における顔部品座標を、フレームごとに複数検出する。ここで、動画に含まれる表情変化に連動して距離が変化する２点の組を少なくとも１組検出する。このように、表情変化に連動して距離が変化する２点を組として検出することにより、その２点間の距離の変化に基づいて表情変化が開始する画像及び表情変化が終了する画像をより正確に特定することができる。

【0084】

ステップＳ２２の顔部品座標検出工程において動画全体について顔部品座標の検出が終了すると、ステップＳ２３において、解析対象抽出手段２が、顔部品座標間の距離を算出する。距離の算出は動画全体の各フレームについて行われ、その算出結果が記憶手段４に記憶される。

【0085】

図６は、本実施形態において用いる、顔部品座標を示す図である。図６（ａ）は縦方向表情変化における解析対象を抽出する際に用いられる顔部品座標を、図６（ｂ）は横方向表情変化における解析対象を抽出する際に用いられる顔部品座標をそれぞれ示す。ここに示すように、本実施形態においては、縦方向表情変化における解析対象を抽出する際には唇の上下端の２点間に加え、左右の頬のそれぞれ複数の点及び顎部の点の座標を顔部品座標として検出する。そして、距離算出手段１３が、唇輪郭の上下端の２点の距離及び左右の頬の各点と顎部の点との間の距離をそれぞれ算出して、その算出結果に基づいて解析対象が抽出される。

【0086】

また、横方向表情変化における解析対象を抽出する際には唇輪郭の上下端の２点及び唇輪郭の左右端の２点を顔部品座標として検出し、距離算出手段１３がそれぞれを組として唇輪郭の上下端の２点の距離及び唇輪郭の左右端の２点間の距離をそれぞれ算出する。このように、解析したい一連の表情変化に応じて、用いる顔部品座標を設定することにより、少ない情報で正確に表情変化の開始及び終了を特定することができる。

【0087】

ここで、唇の上下端の２点と、頬部及びあごの２点と、は、いずれも頬部分の肌を縦方向に伸ばした時に距離が大きくなり、頬部分の肌を縦方向に縮めた時に距離が小さくなる。これにより、各種の縦方向表情変化のタイミングを特定できる。また、唇輪郭の左右端の２点は、頬部分の肌を横方向に伸ばした時に距離が小さくなり、頬部分の肌を横方向に縮めた時に距離が大きくなる。更に、唇輪郭の上下端の２点の距離を用いることで、例えば横方向表情変化の際に、唇輪郭の左右端の２点の距離変化が小さい「う」の表情から無表情への表情変化等についても、表情変化の開始する画像及び表情変化の終了する画像を特定することができ、各種の横方向表情変化のタイミングを特定できる。

【0088】

このように、顔部品座標検出工程においては、頬部分の肌の伸縮に連動して距離が変化する２点の組を複数検出することが好ましい。これにより、複数種類の表情変化を含む動画に対して、種類ごとに解析対象抽出処理を行わずとも、その各種の表情変化の開始するフレーム及び表情変化の終了するフレームを一連の処理によって特定することができる。

【0089】

なお、顔部品座標の検出には、一般に知られている任意の方法を用いることができる。例えば、一般に販売されている開発キットを利用して開発したアプリケーションソフトを用いてもよい。開発キットとしては、例えば、Ｆａｃｅ Ｓｅｎｓｉｎｇ Ｅｎｇｉｎｅ（登録商標）（https://www.oki.com/jp/fse/function/#fp,最終閲覧日：平成３０年１２月１９日）等を利用することができる。

【0090】

また、本実施形態では、距離算出工程Ｓ２３において、顔部品座標間の距離を標準化する為の基準距離を算出する基準距離算出工程が実行される。そして、後述する表情動作評価工程Ｓ２４～解析対象抽出工程Ｓ２６においては、顔部品座標間の距離を基準距離によって標準化した値を用いて、解析対象の抽出が行われる。このようにすることで、顔の個人差や撮影時の倍率等の影響を低減してより精度よく解析対象を抽出することができる。

【0091】

図７は、本実施形態において用いることができる、基準距離の例を示す図である。本実施形態では、左右の目の距離（図示例における「Ａ」の距離）を基準距離として用いて、顔部品座標間の距離を標準化する。具体的には、例えば、Ａの距離を算出し、顔部品座標間の距離を全てＡで除算する等の方法で、顔部品座標間の距離を標準化することができる。

【0092】

この他、左右の目を結ぶ線分から顎先に降ろした垂線の長さ（図示例における「Ｂ」の距離）等、個人差や撮影時の倍率等による影響を是正できると考えられる任意の距離を、基準距離として用いることが好ましい。また、基準距離を複数組み合わせて、顔部品座標間の距離を標準化する構成としてもよい。なお、基準距離としては、顔上の任意の特徴を示す点に関する距離を用いればよく、特に制限はない。

【0093】

ステップＳ２４の表情動作評価工程においては、ステップＳ２３において算出された顔部品座標間の距離の変化に基づいて表情変化の大きさを評価する。具体的には、例えば、被験者が無表情を再現した時の顔部品座標間の距離と、無表情以外の表情（「あ」の表情、「い」の表情、「う」の表情）を再現した時の顔部品座標間の距離と、の比を表情変化の評価値として算出することができる。このように比を用いることで、顔の大きさ等の個人差や撮影時の倍率等の影響を小さくすることができる。

【0094】

次に、ステップＳ２５において、ステップＳ２４で算出した評価値を基準値と比較し、基準値を上回った場合にはステップＳ２６の解析対象抽出工程に進む。基準値に満たない場合には、ステップＳ２７に進み、動画取得手段１が、再度動画の撮影を促す為の情報を端末装置２０に送信する。ステップＳ２７が終了するとステップＳ２１に戻り、再度動画の取得を行う。再度取得した動画については、ステップＳ２２～ステップＳ２５において、顔部品座標検出工程と、距離算出工程と、表情動作評価工程と、のそれぞれの処理が行われる。

【0095】

なお、本実施形態においては、取得する動画には複数の表情変化が含まれるため、表情動作評価工程においては、動画に含まれる全ての表情変化について基準値との比較を行い、全ての表情変化の評価値が基準値を上回った場合に解析対象抽出工程に進む。

【0096】

このように、表情変化の大きさを評価し、所定の基準に満たない場合には再撮影を行わせて再度動画を取得することで、表情変化の大きさが肌解析を行う為に十分な動画に対して肌解析を実行することができる。これにより、肌の粘弾性の算出の精度を向上させることができる。

【0097】

ステップＳ２６においては、解析対象抽出手段２が解析対象の抽出を行う。図８は、解析対象抽出工程における処理の一例を示すフローチャートである。ここで、ステップＳ２６においては、動画に含まれる各種の表情変化における解析対象のそれぞれについて図８に示す処理を実行し、解析対象を抽出する。本実施形態においては、縦方向表情変化を含む動画の４種類の縦方向表情変化、及び横方向表情変化を含む動画の４種類の横方向表情変化の、合計８種類の表情変化についてそれぞれ解析対象を抽出する。

【0098】

なお、図８に示す処理は、組として検出された２点の顔部品座標間の距離それぞれについて行われる処理である。本実施形態においては、顔部品座標間の距離を複数用いて解析対象の抽出を行うため、組として検出された２点の顔部品座標間の距離それぞれについてこの処理を行い、その結果の組み合わせによって解析対象を抽出する。具体的には、組として検出されたある２点の顔部品座標間の距離を用いて解析対象を抽出し、その際に抽出できなかった表情変化に対して他の２点の顔部品座標間の距離を用いて図８に示す処理を行うことで解析対象を抽出することができる。

【0099】

解析対象抽出手段２は、まず、ステップＳ３１において、連続するフレーム間の顔部品座標間の距離の差分（変化量）の絶対値を算出する。次に、ステップＳ３２において、顔部品座標間の距離の差分が基準値より大きい頂点（極大点）を検出する。すなわち、動画に含まれる複数の表情変化の各々の過程において、最も大きく顔部品座標間の距離が変化した点を検出する。

【0100】

ステップＳ３３においては、ステップＳ３２で検出した頂点の前後で顔部品座標間の距離の差分が基準値を下回るフレームを特定する。これにより、ステップＳ３２で検出した頂点の直前に顔部品座標間の距離の差分が基準値を下回ったフレームを表情変化が開始したフレームとして特定し、同様にして頂点の直後に顔部品座標間の距離の差分が基準値を下回ったフレームを表情変化が終了したフレームとして特定し、記憶手段４に記録する。これにより、解析対象抽出手段２は、表情変化の開始したフレームと、終了したフレームと、の間に含まれるフレームを解析対象として抽出する。

【0101】

なお、図８に示した処理を行う際には、適宜フィルタリング等を行ってもよい。例えば、ステップＳ３１において、顔部品座標間の距離の時間変化（各フレーム間における顔部品座標間の距離の変化）に対して低域通過フィルタ（ＬＰＦ：Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）を適用してノイズ除去を行った上で、フレーム間の差分を算出してもよい。この他には、ノイズ除去のために、ステップＳ３１において算出されたフレーム間の顔部品座標間の距離の差分の絶対値について、所定の値に満たない部分を０とする処理等を行うことができる。

【0102】

以上のように、複数の画像から顔部品座標を検出し、顔部品座標間の距離に基づいて表情変化が開始する画像及び表情変化が終了する画像を特定して、その間に含まれる画像を解析対象として抽出することにより、所定の表情変化を含むフレームを精度よく特定できる。これにより、所定の表情変化の際の肌の運動特性をより正確に解析することができ、肌解析の精度を上げることができる。

【0103】

＜物理量の測定＞
上記のようにして図３におけるステップＳ１１が終了すると、ステップＳ１２の移動量測定工程が開始する。図９は、移動量測定工程における処理の流れを示すフローチャートである。ここで、ステップＳ１２においては、ステップＳ１１において抽出された各種の表情変化における解析対象のそれぞれについて図９に示す処理を実行し、移動量を測定する。本実施形態においては、４種類の縦方向表情変化と４種類の横方向表情変化、即ち８種類の表情変化における解析対象についてそれぞれ移動量を測定する。

【0104】

まず、ステップＳ４１では、解析対象の中の各フレームより、特徴点の抽出を行う。ここでは、フレーム中の各画素の輝度値などから皮膚の凹凸を判別して特徴点を設定する方法や、動画中にグリッド状に特徴点を設定する方法、すなわち、格子状に特徴点を配置する方法など、任意の方法を用いてよい。

【0105】

本実施形態では、オプティカルフロー法により移動量の測定を行う。具体的には、頬部の解析領域の１辺を所定の数に分割して、分割された正方形の領域を基本解析単位として、各基本解析単位における中心点を特徴点とみなし、移動量を測定する。図１０は、本実施形態における解析領域の分画パターンの一例を示す図である。図１０における斜線の領域が各分画パターンにおける１つの基本解析単位である。本実施形態では、まず１辺を１２に分割し、各種の大きさの解析単位における動きベクトルの特定を行う（ステップＳ４２）。動きベクトルは、フレーム間における輝度の変化等によって求めることができる。

【0106】

その後、ステップＳ４３で、動きベクトルの解析を行い、移動量の測定を行う。ここでの移動量の例としては、先述した特徴点の座標の変位量、移動速度、加速度、移動方向などや、平面の運動の波動性パラメータ、例えば周期、周長など、顔の皮膚の運動に関する量が挙げられる。

【0107】

なお、このようなそれぞれの移動量は、各フレームにおける値として求めてもよいし、また、ひとつの表情変化を通しての平均値として求めてもよい。あるいは、頬部、顎部といったように領域を設定し、その領域内における値の積算値や平均値などを求めてもよい。

【0108】

ステップＳ４３において、本実施形態では、まず解析領域を１２×１２の１４４の基本解析単位に分ける。次に、各基本解析単位の移動量を測定し、隣り合う基本解析単位同士の平均値をとることで、６×６、４×４、３×３、２×２、１×１、のそれぞれの分画パターンにおける各基本解析単位の移動量を特定できる。これにより、本実施形態では、フレームごとに合計２１０個のベクトルデータを移動量として用いることができる。

【0109】

また、本実施形態では、更に、各分画パターン内における基本解析単位間の移動量の比較に基づく値と、異なる分画パターン間の同一の領域における移動量の比較（大きさの異なる基本解析単位同士の比較）に基づく値と、を各フレームについて算出して、上記のベクトルデータに加えてこれらを移動量として用いる。より具体的には、各分画パターン内の基本解析単位間の移動量の差を総当たりで算術し、また、異なる分画パターン間の対応する領域（同じ位置を示す基本解析単位）の移動量の差を総当たりで算術して、これらを各フレームの移動量として用いることができる。

【0110】

このように、解析領域内の位置（基本解析単位）ごとに様々な観点で移動量を解析することで、領域ごとの運動特性の変化の観測や、個人差の低減等の効果が期待できる。

【0111】

以上のように、ステップＳ１１において抽出された各種の表情変化における解析対象のそれぞれについて、ステップＳ１２で図９に示す処理を実行することで、４種類の縦方向表情変化と４種類の横方向表情変化、即ち８種類の表情変化における解析対象についてそれぞれ移動量を得ることができる。

【0112】

ステップＳ１３の物理量測定工程においては、これら８つの表情変化に対応した移動量に基づいて物理量を測定する。本実施形態では、上記のような「フレームごと」の移動方向及び速さ等を含む種々の移動量、即ち時間の次元を持つ２次元の波形を、任意の方法でスカラー量に変換する。例えば、周波数解析や自己回帰モデル解析、ウェーブレット解析等の解析方法を用いることで変換が可能である。これにより、変換されたスカラー量を物理量として用いることができる。なお、この時、莫大な物理量が得られることが予想されるが、主成分分析等の任意の方法で、物理量の縮約を行ってもよい。

【0113】

また、各表情変化における移動量や物理量の平均値、合計、各移動量に重みづけして算出された値等、移動量から導かれる任意の値を物理量として用いてもよい。

【0114】

＜粘弾性の算出＞
ステップＳ１４の粘弾性算出工程においては、物理量と皮膚の粘弾性との相関関係に基づいて、ステップＳ１３で測定された被験者についての物理量から被験者の皮膚の粘弾性を算出する。

【0115】

図１１は、粘弾性算出工程における処理の流れを示すフローチャートである。なお、本実施形態においては、ステップＳ１４において、真皮の粘弾性及び評価値と、皮下の粘弾性及び評価値と、をそれぞれ算出する。

【0116】

まず、ステップＳ５１において、記憶手段４が記憶する物理量―粘弾性相関関係データを取得する。本実施形態において、物理量―粘弾性相関関係データは、物理量と皮下の粘弾性の相関関係及び物理量と真皮の粘弾性の相関関係を含む。

【0117】

次に、ステップＳ５２において、ステップＳ５１で取得した相関関係と、物理量測定手段３が測定した物理量と、に基づいて、皮膚の粘弾性を算出する。具体的には、例えば、物理量と皮膚の粘弾性との間の関係を表す関数を、粘弾性算出モデルとして記憶手段４に予め登録しておき、その関数に物理量測定手段３が測定した物理量を代入することによって皮膚の粘弾性を算出する等の方法がある。

【0118】

物理量と皮膚の粘弾性との間の関係を表す関数は、物理量及び粘弾性の測定値の組のデータから、統計的手法により求めることができる。より具体的には、上述の方法で被験者について測定された物理量と、同一の被験者について測定された皮膚の粘弾性と、の測定値の組をコンピュータに複数入力し、例えば線形回帰や決定木回帰、サポートベクター回帰、ガウス過程回帰等の回帰分析によって関数（回帰モデル）を得ることができる。また、後述の、物理量と水分量の関係を表す関数や、粘弾性とコラーゲン構造の関係を表す関数についても、同様にして求めることができる。本実施形態では、このような粘弾性算出モデルを、真皮の粘弾性及び皮下の粘弾性のそれぞれについて作成しておき、ステップＳ５２でそれぞれの粘弾性を算出する。

【0119】

粘弾性の算出が完了すると、ステップＳ５３において粘弾性の評価値を算出する。評価値の算出においては、ステップＳ５２で算出した粘弾性を用いて、真皮及び皮下のそれぞれの粘弾性の評価値を算出する。例えば、算出された粘弾性に所定の処理を施して、被験者が感覚的に理解しやすいよう標準化した値等を評価値として用いることができる。

【0120】

ここで、ステップＳ５１及びステップＳ５２は、皮下の粘弾性の算出の際には皮下粘弾性算出手段５１１が、真皮の粘弾性の算出の際には真皮粘弾性算出手段５１２がそれぞれ行う。また、ステップＳ５３は、皮下の粘弾性の評価値を算出するときは皮下粘弾性評価手段６２が、真皮の粘弾性の評価値を算出するときは真皮粘弾性評価手段６１がそれぞれ行う。

【0121】

＜水分量の算出＞
ステップＳ１４が終了すると、ステップＳ１５において水分量算出工程が開始する。ステップＳ１５においては、物理量と表皮の水分量との相関関係に基づいて、ステップＳ１３で測定した被験者についての物理量から被験者の表皮の水分量を算出する。

【0122】

図１２は、水分量算出工程における処理の流れを示すフローチャートである。まず、ステップＳ６１において、水分量算出手段５３は、記憶手段４が記憶する物理量―水分量相関関係データを取得する。次に、ステップＳ６２において、ステップＳ６１で取得した相関関係と、ステップＳ１３で測定した物理量と、に基づいて、水分量算出手段５３が表皮の水分量を算出する。具体的には、例えば、物理量と表皮の水分量との間の関係を表す関数を、水分量算出モデルとして記憶手段４に登録しておき、その関数に物理量測定手段３が測定した物理量を代入することによって表皮の水分量を算出する等の方法がある。物理量と表皮の水分量との間の関係を表す関数は、物理量と粘弾性との間の関係を表す関数と同様に、物理量及び水分量の測定値の組のデータから、統計的手法により求めることができる。

【0123】

水分量の算出が完了すると、ステップＳ６３において、ステップＳ６２で算出した水分量を用いて、水分量評価手段６５が表皮の水分量の評価値を算出する。評価値としては、例えば、ステップＳ６２で算出した水分量に所定の処理を施して標準化した値等を用いることができる。

【0124】

＜コラーゲン構造の推定＞
ステップＳ１６のコラーゲン構造推定工程においては、粘弾性と肌のコラーゲン構造との相関関係に基づいて、被験者について算出された粘弾性から被験者の肌のコラーゲン構造を推定する。なお、本実施形態においては、ステップＳ１６において、真皮コラーゲン構造及び評価値と、皮下コラーゲン構造及び評価値と、をそれぞれ算出する。図１３は、コラーゲン構造推定工程における処理の流れを示すフローチャートである。

【0125】

なお、本実施形態において、コラーゲン構造推定工程では、皮下コラーゲン構造については、皮下コラーゲン構造推定手段５２１が皮下脂肪細胞の超音波画像を解析して導かれるヒストグラムの歪度を皮下コラーゲン構造として推定し、皮下コラーゲン構造評価手段６４が歪度を複数段階に分けて評価値を決定することでコラーゲン構造を推定する。即ち、コラーゲン構造として、歪度の評価値が推定される。

【0126】

ここで用いられるヒストグラムは、被験者の超音波画像から皮下脂肪部分を切り出し、これを解析用画像として画像解析ソフトを使用した結果得られるものである。このヒストグラムについて解析を行い、歪度を算出すると、線維化の程度が低いほど歪度が大きく、線維化の程度が高いほど歪度が小さくなり、歪度によって皮下脂肪を包むコラーゲン線維構造の線維化レベルを評価できる。従って本実施形態では、上記のようにして得られるヒストグラムの歪度を、皮下のコラーゲン構造の指標として用いる。

【0127】

また、真皮コラーゲン構造については、真皮コラーゲン線維の顕微鏡撮影画像に対して画像処理を施し、コラーゲン線維の結束度を定量化した値を「真皮コラーゲン構造」として推定する。

【0128】

まず、ステップＳ７１において、皮下粘弾性算出手段５１１が算出した皮下の粘弾性を取得する。次に、ステップＳ７２において、記憶手段４が記憶する粘弾性―コラーゲン構造相関関係データを取得する。本実施形態において、粘弾性―コラーゲン構造相関関係データは、真皮粘弾性と真皮コラーゲン構造との相関関係及び皮下粘弾性と皮下コラーゲン構造との相関関係を含む。

【0129】

本実施形態では、皮下の粘弾性と、皮下脂肪層の超音波画像を解析して得られるヒストグラムの歪度と、の間の関係を表す関数を、皮下コラーゲン構造推定モデルとして記憶手段４に登録しておき、その関数に皮下粘弾性算出手段５１１が算出した粘弾性を代入することによって、歪度を求める。皮下粘弾性と歪度の関係を表す関数は、粘弾性及び歪度の測定値の組のデータから、統計的手法により求めることができる。

【0130】

また、真皮の粘弾性と、真皮コラーゲン線維の顕微鏡撮影画像に対して画像処理を施すことで得られるコラーゲン線維の結束度を定量化した値と、の間の関係を表す関数を、真皮コラーゲン構造推定モデルとして記憶手段４に登録しておき、その関数に真皮粘弾性算出手段５１２が算出した粘弾性を代入することによって真皮コラーゲン線維の結束度を求める。真皮粘弾性と結束度の関係を表す関数は、粘弾性及び結束度の測定値の組のデータから、統計的手法により求めることができる。

【0131】

なお、ステップＳ７１及びステップＳ７２の順序は任意に変更してよい。また、相関関係データとしては、粘弾性とコラーゲン構造（歪度又は結束度）の測定値との組によって学習させた算出モデルを用いてもよい。

【0132】

ステップＳ７３においては、ステップＳ７１及びステップＳ７２で取得した皮膚の粘弾性及び粘弾性―コラーゲン構造相関関係データに基づいて、コラーゲン構造推定手段５２が、被験者の真皮コラーゲン構造及び皮下コラーゲン構造を推定する。この時、記憶手段４が解析結果を記憶してもよい。

【0133】

コラーゲン構造の推定が完了すると、ステップＳ７４においてコラーゲン構造の評価値を算出する。評価値の算出においては、ステップＳ７３で算出したコラーゲン構造を用いて、真皮及び皮下のそれぞれのコラーゲン構造の評価値を算出する。例えば、算出されたコラーゲン構造（歪度又は結束度）に所定の処理を施して標準化した値や、コラーゲン構造の値を複数段階に分けて評価する値等を、評価値として用いることができる。

【0134】

以上のように、本実施形態によれば、被験者に特定の表情を順番に再現させ、その様子を撮影した動画を解析することで、簡易的に非侵襲な肌の解析を行うことができる。具体的には、表情変化によって生じる皮膚変化の物理量を動画から測定し、物理量と皮膚の粘弾性との相関関係に基づいて、被験者についての物理量の測定値から被験者の皮膚の粘弾性を算出することができる。

【0135】

また、皮膚の粘弾性として、真皮の粘弾性及び皮下の粘弾性をそれぞれ算出し、その評価値を算出することができる。更に表皮の水分量及びその評価値を算出することができる。また、皮膚の粘弾性に基づいて肌のコラーゲン構造を推定し、その評価値を算出することができる。これにより、これらの評価値の組み合わせによって詳細な結果を提示することができる。

【0136】

なお、本実施形態では、記憶手段４が、各種の測定値の組のデータから統計的手法によって得られる、それぞれの関係を表す関数を記憶し、この関数に従って、皮膚の粘弾性や水分量、コラーゲン構造を推定する形態を示した。ただしこの他にも、例えば物理量と粘弾性（又は水分量）の測定値の組を教師データとして与え、ニューラルネットワークに学習させることで、粘弾性算出モデルや水分量算出モデル、コラーゲン構造推定モデルを作成する構成としてもよい。また、各種処理の順序を変更する等、この他にも、本発明の趣旨を逸脱しない範囲で、任意に構成を変更してよい。

【0137】

以下、本発明者らによって行われた、物理量の測定値に基づく皮膚の粘弾性等の算出実験結果、及び粘弾性に基づくコラーゲン構造の推定結果について説明する。なお、本発明は以下のような実験結果に基づいてなされたものであるが、本発明において用いられる値や相関関係は、以下の内容に限られない。

【0138】

＜実験結果１＞
（１）物理量測定
上記の実施形態と同様の手法で、２０～６０代の１００名を対象に、表情変化の過程を表す動画像を取得して、物理量を測定した。具体的には、頬部の解析領域を複数の分画パターンによって基本解析単位に分け、各領域の移動量を測定した。そして、このような移動量を更に各分画パターン内の基本解析単位の移動量の比較、及び分画パターン間の対応する領域の移動量の比較によってフレームごとに解析し、時間の次元を持つ移動量をスカラー量に変換することで物理量を測定した。このような物理量の測定は、各表情変化に対してそれぞれ行われた。

【0139】

（２）粘弾性及び水分量の測定
（１）と同一の対象者について、粘弾性及び水分量を測定した。真皮の粘弾性については、陰圧によって皮膚表面を吸引し、開放した時の皮膚の変位をモニタリングすることにより粘弾性を測定可能な装置を用いて測定した。また、皮下の粘弾性については、エラストグラフィを用いて皮膚内部のエラストグラフィ画像を取得して測定した。表皮の水分量については、高周波正弦電流によって皮表の角層の水分を測定する機器を用いて測定した。

【0140】

（３）各種モデルの構築
対象者ごとに（１）及び（２）の結果を組として統計解析を行い、真皮及び皮下それぞれの粘弾性算出モデルと、表皮の水分量算出モデルと、を作成した。具体的には、任意の手法で回帰分析を行い、物理量と、粘弾性及び水分量と、の間の関係を記述する関数を求め、粘弾性算出モデル及び水分量算出モデルとして用いた。

【0141】

（４）精度の検証
（１）～（３）とは別の対象者について、同様に物理量、粘弾性及び水分量を測定し、モデルの精度を検証した。具体的には、（３）のモデルを用いて、物理量から粘弾性及び水分量を算出し、実際の測定結果と比較を行った。なお、粘弾性及び水分量は、その値に基づいてそれぞれ複数段階の評価値を決定し、評価値が一致するか否かを確認した。その結果、評価値の１段階のずれを許容した場合の推定精度は以下の通りになった。
表皮水分量：９５％
真皮粘弾性：９０％
皮下粘弾性：９０％

【0142】

（４）の結果から、表情変化の過程を表す動画に基づいて取得される皮膚変化の物理量の測定値により、粘弾性及び水分量を高い精度で推定できることが示された。

【0143】

＜実験結果２＞
（１）粘弾性の測定及びコラーゲン構造の評価
＜実験結果１＞における（２）と同様の方法で、皮下の粘弾性を測定した。そして、同一被験者の超音波画像から皮下脂肪部分を切り出し、これを解析用画像として画像解析ソフトを使用してヒストグラムを作成した。このヒストグラムについて解析を行い、歪度を算出すると、線維化の程度が低いほど歪度が大きく、線維化の程度が高いほど歪度が小さくなった。即ち、歪度によって皮下脂肪を包むコラーゲン線維構造の線維化レベルを評価できる。

【0144】

（２）回帰分析
（１）の粘弾性の測定結果及び皮下脂肪細胞の線維化レベルを表す歪度について回帰分析を行った。すると、皮下の粘弾性と、皮下脂肪層の超音波画像のヒストグラムの歪度の間に、正の相関関係が成立することが見出された。

【0145】

（２）の結果から、皮下の粘弾性により、皮下脂肪細胞の線維化レベル（皮下のコラーゲン構造）を推定できることが示された。更に、皮下の粘弾性は、表情変化の過程を表す動画に基づいて取得される皮膚変化の物理量の測定値によって推定可能であることから、物理量の測定値に基づいて間接的に皮下のコラーゲン構造を推定できる可能性が示された。

【0146】

以下、動画の撮影や解析結果の出力に係る詳細な実施形態の一例を示す。

【0147】

＜動画の撮影＞
上述の通り、動画の撮影に際しては、撮影画面において、目や輪郭等の顔部品の位置を合わせるためのガイドを表示することができる。即ち、肌解析装置１０又は端末装置２０が、被験者の顔における顔部品の位置を合わせるためのガイドを表示処理する手段を備える。ここでは、端末装置２０を撮影装置として用いた、より好適な動画の撮影方法について詳細に説明する。なお、以下ではタブレット端末を端末装置２０として用いる場合について説明するが、他にも、カメラやジャイロセンサ、加速度センサ等を備えた任意のコンピュータ装置を端末装置として利用できる。

【0148】

図１４は、端末装置２０の外観を示す図である。図１４（ａ）は、端末装置２０の背面側を示す図である。ここに示すように、端末装置２０の背面側には、カメラＣが設けられており、撮影手段２０１はこれを利用して動画像を撮影する。図１４（ｂ）は、端末装置２０の正面側を示す図である。ここに示すように、端末装置２０の正面側には、撮影者に対する各種の表示や、操作者からの操作の受付等を行うタッチパネルＴなどが設けられている。

【0149】

本実施形態においては、図１４に示すように、正面側、あるいは背面側から見た際に略長方形であるタブレット型端末の、長辺方向にｘ軸を、短辺方向にｙ軸を、そして正面側から背面側に向かう方向にｚ軸をそれぞれとり、端末装置２０の保持される角度や回転した角度を表現する。ただし、本発明はこれに限るものではなく、他の態様で軸をとるような構成や、端末装置２０ではなく被験者を基準として軸をとるような構成としてもよい。

【0150】

図１５は、本実施形態における動画の撮影の流れを示すフローチャートである。これは、撮影者が端末装置２０を使用し、被験者の顔の表情変化を含む動画を撮影する場合の例を示すものである。被験者には、ここに示す各処理を行う前に、予め、撮影中にどのような表情変化をするかの説明をしておくことが好ましい。なお、この説明は、端末装置２０がタッチパネルＴに撮影内容を説明するための動画を表示する手段を備えるような構成とし、それを撮影者又は被験者に見せる、といった方法で行ってもよい。

【0151】

まず、ステップＳ８１では、角度のリセットを行う。これは、端末装置２０の初期位置を決定するための処理である。本実施形態においては、ｙ軸が鉛直方向と平行になり、ｘ軸が被験者の顔面と略平行状態に、ｚ軸が被験者の顔面に対して略垂直状態となる状態を、端末装置２０の初期位置とする。これはすなわち、上から見た場合に、図１６（ａ）に示すような状態となるものである。より具体的には、図１７に示すような画面で、端末装置２０のタッチパネルＴに位置合わせのためのガイドとして被験者の目の高さ、あごの高さ、鼻の位置を合わせるためのガイドラインを、カメラＣによって撮影された被験者の顔に重畳表示することで、撮影者に端末装置２０の位置合わせを促す。更にｚ軸の傾きに応じて移動するポインターＰを表示することにより、より位置合わせがしやすくなる。そして、タッチパネルＴによる操作の受付等（図１７における「基準値セット」ボタンの選択）によっての角度のリセットを行い、端末装置２０の初期位置を決定する。

【0152】

なお、ここで、端末装置２０のｘ軸まわりの回転、すなわち、前後方向の傾きや、ｚ軸まわりの回転、すなわち、左右方向の傾きについても、小さくすることができるよう構成されることが好ましい。このためには、例えば、端末装置２０が備えるジャイロセンサや加速度センサ等によって重力加速度等から鉛直方向、及びそれに直交する水平方向を特定し、ｘ軸とｚ軸のそれぞれについて水平方向との角度の差をそれぞれの軸まわりの傾きとして表示し、これらを０に近づけ、所定の許容範囲に収まるように端末装置２０の角度の調整を撮影者へ促す、といったようにすればよい。

【0153】

このようにして角度のリセットを行い、端末装置２０の初期位置を確定した後、ステップＳ８２で、端末装置２０の移動を行う。本実施形態においては、端末装置２０を２５度回転し、左斜め前方２５度の角度より被験者の顔を撮影する。ここでは、上から見た場合に図１６（ｂ）に示すような状態となるように、端末装置２０を被験者に向かって右側に移動することで、被験者の顔を左斜め前方から撮影するよう、位置調整を行う。これはすなわち、被験者に端末装置２０のカメラＣを向けた状態を保ちながら、被験者を中心として中心角を２５度とする円弧を描くように端末装置２０を移動させればよい。このような移動を行った場合、図１６（ｂ）に示すように、端末装置２０はｙ軸を中心として、反時計回りに２５度回転することになる。なお、撮影方向は左右どちらであってもよく、また左右両方からそれぞれ撮影してもよい。

【0154】

ここでのより具体的な調整方法は、図１８（ａ）に示すように、被験者の目の高さ、あごの高さ、左目の位置を合わせるためのガイドラインをタッチパネルＴに表示し、撮影者に位置合わせを促すものである。この際、タッチパネルＴに端末装置２０のｙ軸まわりの回転に併せて移動し、２５度回転すると中心のガイドラインと重なるポインターＰを更に表示し、これが中心のガイドラインと重なり、端末装置２０によって回転角度が適切であると判定された場合に、ガイドライン及びポインターの色等、表示形態を変化させる。

【0155】

なお、端末装置２０は撮影者によって保持された状態であるため、ここでは正確に２５度である場合のみを許容するような構成でなく、例えば２５度±５度、といったように、予め許容する角度範囲を定めておくような構成とすることが好ましい。

【0156】

このように、ガイドラインを表示し、それに従って端末装置２０の位置合わせを行うことにより、端末装置２０が上述した円弧を描くような移動を正確にしない場合でも、被験者が向きを変えていない限りは、所定の角度からの撮影を確実に行うことができる。これにより、端末装置２０（あるいは被験者）を器具によって固定し、移動させる、といった構成とせず、端末装置２０を保持した撮影者が移動するという構成でも、撮影角度を簡単かつ確実に合わせることができる。

【0157】

なお、本実施形態では、上述したように被験者の目の高さ、あごの高さ、左目の位置に合わせるための３本のガイドラインを表示する構成を示したが、本発明はこれに限るものではない。被験者の顔部品の位置を合わせるための点や線をガイドとして表示し、それに合わせて端末装置２０の位置を調整することで、適切な距離から、被験者を適切な位置に収めての画像撮影が可能となる。

【0158】

なお、この時点においては、回転角度が許容範囲に含まれ、適切であると判定された場合にも、焦点、露出の調整が完了していない状態であるため、録画は開始できない状態である。そのため、録画の開始のためのボタンを押下不可能な状態で表示する、あるいは、表示しないといったように、まだ録画が開始できる状態でないことを撮影者に示すことが好ましい。

【0159】

ステップＳ８２における端末装置２０の移動の結果、ステップＳ８３において端末装置２０の回転角度が所定範囲内であると判定された場合、ステップＳ８４へと進み、焦点及び露出の自動調整が行われる。これらの調整は任意の方法で行われればよく、特に本実施形態に係る端末装置２０のようにタブレット型端末を用いる場合には、端末上で動作するＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）のベンダ等から提供される、カメラの制御に関するＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を利用して行うような構成とすればよい。また、自動調整のみでなく、手動での調整が可能な構成としてもよい。ここで、焦点、露出のみでなくＩＳＯ感度などの画像撮影に関連する他のパラメータについても自動調整する手段を備える構成や、撮影環境の照度を検出し、照度が低い場合にＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等によって被験者を照らすような手段を備えるような構成としてもよい。

【0160】

ステップＳ８４において焦点及び露出の自動調整が完了した後には、焦点、露出のロック（ＡＦＡＥロック）が行われる。そして、ステップＳ８５で、焦点、露出の調整が完了したと判定された場合には、ステップＳ８６へ進み、撮影者による録画開始ボタンの押下を受け付ける状態とする。

【0161】

そして、録画を開始する指示を撮影者から受けた後、ステップＳ８７でカメラＣによる録画を開始する。なお、録画の開始後にも、端末装置２０の回転角度の測定を続け、図１８（ｃ）に示すように、撮影者へと表示することが好ましい。録画中に回転角度がステップＳ８６で調整した許容範囲から外れた場合には、直ちに録画を中止するような構成としてもよいし、撮影者に回転角度の調整を促し、録画を続行するような構成としてもよい。

【0162】

なお、本実施形態においては、被験者の顔の表情変化を含む動画像を撮影するため、例えば図１８（ｃ）に示すように、動画像の録画中に被験者が口を大きく開いた場合にあごの位置がガイドラインよりも下になる、といったように、ステップＳ８２において位置合わせを行った状態からずれるような場合がある。このような場合においても、ＡＦＡＥロックを行っている状態であるため、被験者の位置と端末装置２０の位置が動いていなければ問題ない。あるいは、左目の位置についてはガイドラインに合った状態を維持するように、撮影者が端末装置２０の位置を調整する、といったように、表情変化による移動が少ないと考えられる点について、録画中にも合わせ続けるような方法をとってもよい。

【0163】

また、録画中の端末装置２０の回転角度の測定は、ｙ軸まわりの回転のみでなく、ｘ軸まわり、ｚ軸まわりの回転、すなわち、端末装置２０の前後方向、左右方向の傾きについても行うことが好ましい。ここでも、端末装置２０の傾きが所定の許容範囲を超えた場合に、直ちに録画を中止するような構成としてもよいし、撮影者に回転角度の調整を促し、録画を続行するような構成としてもよい。あるいは、端末装置２０において、端末装置２０の傾きに合わせた補正を行う構成や、録画中の各時点における端末装置２０の傾きを記録しておき、後の肌解析装置１０での解析時に補正を行うことができるような構成としてもよい。ここでの補正の方法としては、例えば、左右方向の傾きに対するものであれば録画した動画中の各フレーム画像の回転を行えばよいし、前後方向の傾きに対するものであれば、各フレーム画像に台形補正を適用する、といった方法が挙げられる。

【0164】

そして、ステップＳ８８において、録画を終了すると判定された場合、録画を終了し、ステップＳ８９で動画ファイルとして記録する。ここで、録画の終了の判定は、撮影者の操作に基づくものであってもよいし、所定時間の経過後に録画を終了するような構成としてもよい。このようにして保存された動画ファイルは、肌解析装置１０に送信される。

【0165】

以上のように、本実施形態に係る端末装置２０は、特殊な設備や器具を用意せずとも、ジャイロセンサや加速度センサといったセンサ、カメラＣを備えるような汎用的なタブレット型端末に専用のプログラムの配備を行うことによって、実現できる。これにより、解析のために、撮影角度などの条件を特定しての動画の撮影を手軽に行うことができる。

【0166】

なお、上記の形態においては、被験者の左斜め前方から撮影する例について説明したが、例えば、左右両方の同じ回転角度からそれぞれ動画を撮影し、それらの動画を合成した結果により、物理量を算出してもよい。左右両方向から被験者を撮影する場合、本実施形態では左右両方においてそれぞれ８種類の表情変化、即ち合計１６種類の表情変化における解析対象について、移動量を得ることができる。図３のステップＳ１３において、これら１６種類の表情変化における解析対象から得られた移動量を用いて、物理量を算出することにより、左右の表情変化から得られる皮膚変化を総合的に考慮した物理量から、皮膚の物性を解析することができる。

【0167】

＜物理量の具体例＞
解析に用いる物理量としては、例えば、肌の追従性、伸縮性、変形性等が挙げられる。ここで「表情変化における顔の肌の追従性」とは、表情変化に追従して変化する顔の肌の動きの遅れの程度のことである。表情変化が起こる際に、顔の肌はその動きに遅れて変化することになるが、その遅れの程度が小さいほど「追従性に優れる」という。

【0168】

追従性は、表情変化の際の顔の任意の２つの点を観察し、この２つの点の運動のタイミングのズレの程度を測定することにより定量的に評価することができる。例えば、移動量に基づいて、特定の解析領域における運動速度を特定し、解析領域間で運動速度が最大となる時間の差分として定量的に測定する等の方法が考えられる。このとき、表情変化において最も顕著に動く顔の位置に対応した解析領域と、それ以外の顔の位置に対応した解析領域と、を用いて、それらの間で運動速度が最大となる時間の差分を測定することが好ましい。

【0169】

また、「表情変化における顔の肌の伸縮性」とは、表情変化が起こったときの肌の伸縮のしやすさのことをいう。例えば、顔の肌が伸びる表情変化があったときに、その伸長方向全体の距離の増加分に対する、ある任意の領域における伸長方向の距離の増加分の割合が高いほど「伸縮性に優れる」と評価することができる。例えば、表情変化時の肌の伸長方向に沿った特徴点の座標の変位量等の移動量から、特定の解析領域における、伸長方向の距離の増加分の割合を、伸縮性として評価することができる。

【0170】

また変形性としては、顔の任意の位置に対応する解析領域の変形の仕方（歪み方）を測定することが考えられる。変形性の測定方法は限定されないが、例えば、特徴点の変位量、移動方向等の移動量を用いて算出してもよい。

【0171】

特に、追従性及び伸縮性は、それぞれ年齢と負の相関関係を有し、いずれも加齢によって低下する傾向があることが知られている。また、追従性と皮下の粘弾性との間にも正の相関関係が成立することが知られており、追従性と粘弾性との相関関係に基づいて、粘弾性の算出が可能であると考えられる。

【0172】

＜解析結果の出力＞
肌解析装置１０は、解析結果を出力する出力手段を更に備えていてもよい。出力手段は、解析結果として、真皮及び皮下の粘弾性、表皮の水分量、真皮及び皮下のコラーゲン構造の算出結果、またそれらの評価値等に基づく情報を出力する。出力の形態は限定されず、端末装置２０において静的又は動的画像として表示してもよいし、音や振動、文字として出力してもよい。

【0173】

更に、粘弾性及び水分量の算出結果やコラーゲン構造の推定結果だけでなく、解析に用いられる物理量、即ち、粘弾性、水分量及びコラーゲン構造の何れかと相関関係を有する物理量に基づく情報を、出力してもよい。これにより、測定した値や撮影された動画により得られた値がどのように解析結果に影響するのかをわかりやすく示すことができる。

【0174】

＜コラーゲン構造の推定に係る変形例＞
上記の実施形態においては、コラーゲン構造推定手段５２が、粘弾性算出手段５１による算出結果及び粘弾性―コラーゲン構造相関関係データを用いてコラーゲン構造を推定する形態を示したが、本発明はこれに限られない。上述の通り、物理量及び粘弾性の間の相関関係が認められ、更に粘弾性及びコラーゲン構造の間の相関関係が認められることから、物理量及びコラーゲン構造の間にも、直接の相関関係が存在する蓋然性が高い。

【0175】

従って、例えば、コラーゲン構造推定手段５２が、物理量と皮膚のコラーゲン構造との相関関係に基づいて、被験者についての物理量の測定値から被験者の皮膚のコラーゲン構造を直接推定してもよい。

【0176】

この場合には、記憶手段４は、物理量―コラーゲン構造相関関係データとして、物理量とコラーゲン構造に関する指標との間の関係を表す関数を記憶しており、この関数に物理量測定手段３が測定した物理量を代入することで、コラーゲン構造の指標を算出できる。

【0177】

なお、粘弾性の算出を介さずに、物理量から直接コラーゲン構造を推定する場合にも、既述した実施形態と同様に、皮下のコラーゲン構造及び真皮のコラーゲン構造、並びにその評価値を推定することが好ましい。即ち、記憶手段４は、物理量と皮下のコラーゲン構造（例えば皮下脂肪層の超音波画像を解析して得られるヒストグラムの歪度）との相関関係、及び、物理量と真皮のコラーゲン構造（例えば真皮コラーゲン線維の顕微鏡撮影画像から得られるコラーゲン線維の結束度を定量化した値）との相関関係を、それぞれ記憶する。

【0178】

このように、物理量とコラーゲン構造との相関関係に基づいてコラーゲン構造を推定することにより、粘弾性を介してコラーゲン構造を推定する場合に比べて、推定精度の向上効果が期待できる。

【符号の説明】

【0179】

１０ 肌解析装置
１ 動画取得手段
２ 解析対象抽出手段
３ 物理量測定手段
３１ 特徴点抽出手段
３２ 移動量測定手段
３３ 移動量解析手段
４ 記憶手段
５ 解析部
５１ 粘弾性算出手段
５１１ 皮下粘弾性算出手段
５１２ 真皮粘弾性算出手段
５２ コラーゲン構造推定手段
５２１ 皮下コラーゲン構造推定手段
５２２ 真皮コラーゲン構造推定手段
５３ 水分量算出手段
６ 評価手段
６１ 真皮粘弾性評価手段
６２ 皮下粘弾性評価手段
６３ 真皮コラーゲン構造評価手段
６４ 皮下コラーゲン構造評価手段
６５ 水分量評価手段
２０ 端末装置
２０１ 撮影手段
２０２ 表示部
Ｃ カメラ
Ｔ タッチパネル
Ｐ ポインター

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】