知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-16
(45)【発行日】2024-12-24
(54)【発明の名称】肌状態推定方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20241217BHJP
A61B 5/00 20060101ALI20241217BHJP
A61B 5/107 20060101ALI20241217BHJP
G06V 10/70 20220101ALI20241217BHJP
【ＦＩ】
G06T7/00 660A
A61B5/00 M
A61B5/107 800
G06V10/70
【請求項の数】
17
(21)【出願番号】P 2023052673
(22)【出願日】2023-03-29
(65)【公開番号】P2024022462
(43)【公開日】2024-02-16
【審査請求日】2024-10-23
(31)【優先権主張番号】P 2022124831
(32)【優先日】2022-08-04
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】000000918
【氏名又は名称】花王株式会社
(74)【代理人】
【識別番号】100137589
【弁理士】
【氏名又は名称】右田 俊介
(72)【発明者】
【氏名】西野 顕
【審査官】藤原 敬利
(56)【参考文献】
【文献】特表２０２０－５２２８１０（ＪＰ，Ａ）
【文献】特開２０２２－０７８９３６（ＪＰ，Ａ）
【文献】特開２０１６－１７３７１６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ５／００
Ａ６１Ｂ ５／１０７
Ｇ０６Ｔ ７／００
Ｇ０６Ｖ １０／７０
(57)【特許請求の範囲】
【請求項1】
入力顔画像からその入力顔画像に写り込む人顔の肌状態を出力するように学習が施された推定モデルを用いた、肌状態推定方法であって、一以上のプロセッサが、
対象者の顔画像を取得する画像取得工程と、
前記推定モデルにおける入力規則に合わせるべく前記取得された顔画像に写り込む人顔の顔領域の輪郭上の複数点が画像外縁に位置するようにその顔画像を変換して変換後顔画像を得る変換工程と、
前記変換後顔画像が前記入力顔画像として入力されることで前記推定モデルから出力される前記対象者の顔の肌状態情報を取得する情報取得工程と、
を実行する肌状態推定方法。
【請求項2】
前記変換後顔画像では、前記取得された顔画像に写り込む人顔の顔領域内の所定局所部位領域が除かれており又は縮小されており、前記変換工程では、前記顔領域内において前記所定局所部位領域を取り囲む複数の外周点のうち前記所定局所部位領域を介して相互に対向する外周点の位置を一致させて、前記顔領域内の前記所定局所部位領域を除く又は縮小する、
請求項１に記載の肌状態推定方法。
【請求項3】
前記所定局所部位領域は、目領域、眉毛領域及び唇領域を含む、請求項２に記載の肌状態推定方法。
【請求項4】
前記一以上のプロセッサが、前記取得された顔画像に写り込む前記人顔の顔領域における所定の複数箇所の位置座標を特定する位置特定工程を更に実行し、
前記変換工程では、前記特定された所定の複数箇所の位置座標の一部又は全部を座標変換して前記推定モデルの前記入力規則に合うように、前記取得された顔画像を変換する、
請求項２又は３に記載の肌状態推定方法。
【請求項5】
前記入力顔画像は所定矩形形状を有しており、前記所定の複数箇所の位置座標は、前記顔領域の輪郭上の複数点、前記顔領域の鼻頂点及び前記顔領域の他の複数点の位置座標を更に含み、
前記変換工程では、前記顔領域の輪郭上の前記複数点に含まれる４つの第一輪郭点の各々が前記所定矩形形状の頂点にそれぞれ配置され、前記鼻頂点が前記所定矩形形状の中心に配置され、前記顔領域の輪郭上の他の点が前記所定矩形形状の辺上に配置され、前記顔領域の輪郭上の前記複数点及び前記鼻頂点の移動に対応して前記顔領域の前記他の複数点が移動するように、前記座標変換を行う、
請求項４に記載の肌状態推定方法。
【請求項6】
前記顔領域の前記他の複数点は、前記所定局所部位領域よりも前記顔領域の輪郭の近くに位置する４つの第三輪郭点及び該４つの第三輪郭点よりも更に前記顔領域の輪郭の近くに位置する４つの第二輪郭点を含み、前記変換工程では、前記４つの第二輪郭点及び前記４つの第三輪郭点が前記４つの第一輪郭点と前記鼻頂点とを結ぶ対角線上にそれぞれ配置され、かつ前記第一輪郭点の前記鼻頂点からの距離と前記第二輪郭点の前記鼻頂点からの距離との差が、前記第二輪郭点の前記鼻頂点からの距離と前記第三輪郭点の前記鼻頂点からの距離との差よりも小さくなるように前記座標変換を行う、
請求項５に記載の肌状態推定方法。
【請求項7】
前記推定モデルは、肌状態の複数項目を推定可能であり、前記推定モデルの前記入力規則は複数設けられており、
前記変換工程では、前記複数項目に対応する相互に異なる複数の前記入力規則の中の推定対象項目に対応する入力規則に対応するように前記取得された顔画像を変換することで、推定対象項目に対応する変換後顔画像を取得し、
前記情報取得工程では、前記変換後顔画像を前記推定モデルに入力して前記推定対象項目に関する前記対象者の肌状態情報を取得する、
請求項１から３のいずれか一項に記載の肌状態推定方法。
【請求項8】
入力顔画像からその入力顔画像に写り込む人顔の肌状態を出力するように学習が施された推定モデルと、対象者の顔画像を取得する画像取得手段と、
前記推定モデルにおける入力規則に合わせるべく前記取得された顔画像に写り込む人顔の顔領域の輪郭上の複数点が画像外縁に位置するようにその顔画像を変換して変換後顔画像を得る変換手段と、
前記変換後顔画像を前記入力顔画像として前記推定モデルへ入力し、前記推定モデルから出力される前記対象者の顔の肌状態情報を取得する情報取得手段と、
前記取得された肌状態情報を提示するための画像情報を生成する肌状態出力手段と、
前記画像情報を表示する情報表示手段と、
を備える肌状態推定システム。
【請求項9】
前記変換後顔画像では、前記取得された顔画像に写り込む人顔の顔領域内の所定局所部位領域が除かれており又は縮小されており、前記変換手段は、前記顔領域内において前記所定局所部位領域を取り囲む複数の外周点のうち前記所定局所部位領域を介して相互に対向する外周点の位置を一致させて、前記顔領域内の前記所定局所部位領域を除く又は縮小する、
請求項８に記載の肌状態推定システム。
【請求項10】
前記所定局所部位領域は、目領域、眉毛領域及び唇領域を含む、請求項９に記載の肌状態推定システム。
【請求項11】
前記取得された顔画像に写り込む前記人顔の顔領域における所定の複数箇所の位置座標を特定する位置特定手段を更に備え、前記変換手段は、前記特定された所定の複数箇所の位置座標の一部又は全部を座標変換して前記推定モデルの前記入力規則に合うように、前記取得された顔画像を変換する、
請求項９又は１０に記載の肌状態推定システム。
【請求項12】
前記入力顔画像は所定矩形形状を有しており、前記所定の複数箇所の位置座標は、前記顔領域の輪郭上の複数点、前記顔領域の鼻頂点及び前記顔領域の他の複数点の位置座標を更に含み、
前記変換手段は、前記顔領域の輪郭上の前記複数点に含まれる４つの第一輪郭点の各々が前記所定矩形形状の頂点にそれぞれ配置され、前記鼻頂点が前記所定矩形形状の中心に配置され、前記顔領域の輪郭上の他の点が前記所定矩形形状の辺上に配置され、前記顔領域の輪郭上の前記複数点及び前記鼻頂点の移動に対応して前記顔領域の前記他の複数点が移動するように、前記座標変換を行う、
請求項１１に記載の肌状態推定システム。
【請求項13】
前記顔領域の前記他の複数点は、前記所定局所部位領域よりも前記顔領域の輪郭の近くに位置する４つの第三輪郭点及び該４つの第三輪郭点よりも更に前記顔領域の輪郭の近くに位置する４つの第二輪郭点を含み、前記変換手段は、前記４つの第二輪郭点及び前記４つの第三輪郭点が前記４つの第一輪郭点と前記鼻頂点とを結ぶ対角線上にそれぞれ配置され、かつ前記第一輪郭点の前記鼻頂点からの距離と前記第二輪郭点の前記鼻頂点からの距離との差が、前記第二輪郭点の前記鼻頂点からの距離と前記第三輪郭点の前記鼻頂点からの距離との差よりも小さくなるように前記座標変換を行う、
請求項１２に記載の肌状態推定システム。
【請求項14】
前記推定モデルは、肌状態の複数項目を推定可能であり、前記推定モデルの前記入力規則は複数設けられており、
前記変換手段は、前記複数項目に対応する相互に異なる複数の前記入力規則の中の推定対象項目に対応する入力規則に対応するように前記取得された顔画像を変換することで、推定対象項目に対応する変換後顔画像を取得し、
前記情報取得手段は、前記変換後顔画像を前記推定モデルに入力して前記推定対象項目に関する前記対象者の肌状態情報を取得する、
請求項８から１０のいずれか一項に記載の肌状態推定システム。
【請求項15】
前記肌状態推定システムは、ユーザ端末を備え、前記ユーザ端末は、前記画像取得手段、前記肌状態出力手段及び前記情報表示手段を少なくとも含む、
請求項８から１０のいずれか一項に記載の肌状態推定システム。
【請求項16】
前記肌状態推定システムは、ユーザ端末を備え、前記ユーザ端末は、前記画像取得手段、前記肌状態出力手段、前記情報表示手段及び前記位置特定手段を少なくとも含む、
請求項１１に記載の肌状態推定システム。
【請求項17】
請求項８から１０のいずれか一項に記載の肌状態推定システム用のユーザ端末であって、
前記画像取得手段、前記肌状態出力手段、前記情報表示手段、及び前記変換手段を少なくとも備える、
肌状態推定システム用ユーザ端末。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習が施された推定モデルを用いて入力顔画像からその入力顔画像に写り込む人顔の肌状態を推定する技術に関する。
【背景技術】
【0002】
下記特許文献１には、人の画像内の顔の巨視的特徴をマスキングした後に畳み込みニューラルネットワークを用いて画像を解析することで人の見掛け肌年齢を判定し、判定された見掛け肌年齢をユーザに視認可能な表示デバイス上に表示させるシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開第２０１８／２２２８０８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記システムのように学習済みの推定モデルを用いて顔画像に写り込む人顔の肌状態を推定する既存手法では、当該推定モデルへ入力される顔画像は予め決められた画像サイズ及び矩形形状に正規化され、入力された顔画像が解析される。一方で、推定モデルに入力される顔画像には、顔領域に加えて、背景や頭髪等の顔以外の領域が含まれる。
【0005】
このため、推定モデルは、その学習過程において、顔領域の肌状態に加えて肌らしくない領域は使わないということも習得する必要があり、そのように習得された知識リソースを保持する必要がある。
しかしながら、推定モデルにとって人顔の肌状態を推定するのに顔以外の領域に関する計算や情報は無駄といえる。また、顔画像の正規化にあたり顔以外の領域が含まれた状態で画像サイズの圧縮が行われると、顔領域の解像度が低下することから、学習モデルの推定精度も低下する可能性がある。
しかしながら、推定モデルにとって人顔の肌状態を推定するのに顔以外の領域に関する計算や情報は無駄といえる。また、顔画像の正規化にあたり顔以外の領域が含まれた状態で画像サイズの圧縮が行われると、顔領域の解像度が低下することから、学習モデルの推定精度も低下する可能性がある。
【0006】
本発明は、上述のような観点を考慮して、入力顔画像からその入力顔画像に写り込む人顔の肌状態を推定する推定モデルの推定精度を向上させる技術を提供する。
【課題を解決するための手段】
【0007】
本発明によれば、入力顔画像からその入力顔画像に写り込む人顔の肌状態を出力するように学習が施された推定モデルを用いた、肌状態推定方法であって、一以上のプロセッサが、対象者の顔画像を取得する画像取得工程と、前記推定モデルにおける入力規則に合わせるべく前記取得された顔画像に写り込む人顔の顔領域の輪郭上の複数点が画像外縁に位置するようにその顔画像を変換して変換後顔画像を得る変換工程と、前記変換後顔画像が前記入力顔画像として入力されることで前記推定モデルから出力される前記対象者の顔の肌状態情報を取得する情報取得工程とを実行する肌状態推定方法が提供される。
【0008】
また、本発明によれば、入力顔画像からその入力顔画像に写り込む人顔の肌状態を出力するように学習が施された推定モデルと、対象者の顔画像を取得する画像取得手段と、前記推定モデルにおける入力規則に合わせるべく前記取得された顔画像に写り込む人顔の顔領域の輪郭上の複数点が画像外縁に位置するようにその顔画像を変換して変換後顔画像を得る変換手段と、前記変換後顔画像を前記入力顔画像として前記推定モデルへ入力し、前記推定モデルから出力される前記対象者の顔の肌状態情報を取得する情報取得手段と、前記取得された肌状態情報を提示するための画像情報を生成する肌状態出力手段と、前記画像情報を表示する情報表示手段とを備える肌状態推定システムが提供される。
【0009】
また、本発明によれば、上述の肌状態推定システム用のユーザ端末が提供可能である。
更に言えば、上記肌状態推定方法をコンピュータに実行させる、即ちコンピュータを上記肌状態推定システムの全部又は一部として機能させるプログラムも提供可能であるし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体も提供可能である。この記録媒体は、非一時的な有形の媒体を含む。
更に言えば、上記肌状態推定方法をコンピュータに実行させる、即ちコンピュータを上記肌状態推定システムの全部又は一部として機能させるプログラムも提供可能であるし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体も提供可能である。この記録媒体は、非一時的な有形の媒体を含む。
【発明の効果】
【0010】
本発明によれば、入力顔画像からその入力顔画像に写り込む人顔の肌状態を推定する推定モデルの推定精度を向上させる技術を提供することができる。
【図面の簡単な説明】
【0011】
【図1】本実施形態に係る肌状態推定方法を実行可能な情報処理装置のハードウェア構成例を概念的に示す図である。
【図2】本実施形態に係る肌状態推定装置の各部の機能を説明するためのブロックダイアグラムである
【図3】本実施形態に係る肌状態推定方法を示すフローチャートである。
【図4】本実施形態に係る肌状態推定方法における顔画像の変換の流れを示す図である。
【図5】本実施形態に係る肌状態推定モデルの学習方法を示すフローチャートである。
【図6】変形例に係る肌状態推定方法における顔画像の変換の流れを示す図である。
【図7】変形例に係る肌状態推定方法を示すフローチャートである。
【図8】肌状態推定システムをユーザ端末とサーバとの組み合わせとして構成した実施形態を機能的に示す図である。
【図9】肌状態推定システムをユーザ端末とサーバとの組み合わせとして構成した他の実施形態を機能的に示す図である。
【図10】ユーザ端末での肌状態情報の表示画面の一例を示す図である。
【図11】実施例に係る肌状態推定方法における顔画像の変換の流れを示す図である。
【図12】本実施形態に係る肌状態推定方法（本方法）と従来手法と先行特許手法との予測誤差の違いを示すグラフである。
【図13】目尻のシワをより詳細に推定するために目尻の周囲の拡大率を他の部位よりも大きくする座標変換ルールを用いた顔画像変換の例を示す図である。
【図14】ほうれい線の状態をより詳細に推定するためにほうれい線の周囲の拡大率を他の部位よりも大きくする座標変換ルールを用いた顔画像変換の例を示す図である。
【発明を実施するための形態】
【0012】
以下、本発明の好ましい実施形態の例（以降、本実施形態と表記する）について説明する。なお、以下に説明する本実施形態は例示であり、本発明は以下に挙げる構成に限定されない。
【0013】
〔ハードウェア構成例〕
本実施形態に係る肌状態推定方法（以下、本方法と表記する）は、一台以上の情報処理装置が備える一以上のプロセッサにより実行される。
図１は、本方法を実行可能な情報処理装置１０のハードウェア構成例を概念的に示す図である。
情報処理装置１０は、いわゆるコンピュータであり、ＣＰＵ１１、メモリ１２、入出力インタフェース（Ｉ／Ｆ）１３、通信ユニット１４等を有する。情報処理装置１０は、据え置き型のＰＣ（Personal Computer）であってもよいし、携帯型のＰＣ、スマートフォン、タブレット等のような携帯端末であってもよい。
本実施形態に係る肌状態推定方法（以下、本方法と表記する）は、一台以上の情報処理装置が備える一以上のプロセッサにより実行される。
図１は、本方法を実行可能な情報処理装置１０のハードウェア構成例を概念的に示す図である。
情報処理装置１０は、いわゆるコンピュータであり、ＣＰＵ１１、メモリ１２、入出力インタフェース（Ｉ／Ｆ）１３、通信ユニット１４等を有する。情報処理装置１０は、据え置き型のＰＣ（Personal Computer）であってもよいし、携帯型のＰＣ、スマートフォン、タブレット等のような携帯端末であってもよい。
【0014】
ＣＰＵ１１は、いわゆるマイクロプロセッサである。メモリ１２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置（ハードディスク等）である。
入出力Ｉ／Ｆ１３は、表示装置１５、入力装置１６等のユーザインタフェース装置と接続可能である。表示装置１５は、ＬＣＤ（Liquid Crystal Display）のような、ＣＰＵ１１等により用意された描画データに対応する画面を表示する装置である。入力装置１６は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置である。表示装置１５及び入力装置１６は一体化され、タッチパネルとして実現されてもよい。
通信ユニット１４は、通信網を介した他のコンピュータとの通信や、プリンタ等の他の機器との信号のやりとり等を行う。通信ユニット１４には、可搬型記録媒体等も接続され得る。
入出力Ｉ／Ｆ１３は、表示装置１５、入力装置１６等のユーザインタフェース装置と接続可能である。表示装置１５は、ＬＣＤ（Liquid Crystal Display）のような、ＣＰＵ１１等により用意された描画データに対応する画面を表示する装置である。入力装置１６は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置である。表示装置１５及び入力装置１６は一体化され、タッチパネルとして実現されてもよい。
通信ユニット１４は、通信網を介した他のコンピュータとの通信や、プリンタ等の他の機器との信号のやりとり等を行う。通信ユニット１４には、可搬型記録媒体等も接続され得る。
【0015】
情報処理装置１０のハードウェア構成は、図１の例に制限されない。情報処理装置１０は、図示されていない他のハードウェア要素を含んでもよい。また、各ハードウェア要素の数も、図１の例に制限されない。例えば、情報処理装置１０は、複数のＣＰＵ１１を有していてもよい。特に、肌状態の推定を行う畳み込みニューラルネットワークの実現には、一般的なＣＰＵに替えてベクトル演算用に設計されたＧＰＵ（Graphics Processing Unit）を用いると、演算の高速化が図れる。
また、本発明は、情報処理装置１０を複数組み合わせてなる複数台のコンピュータにより、いわゆるシステムとして実現してもよい。複数台のコンピュータにより本発明を実現する場合には、後述するように、複数台のコンピュータに各機能を分担させて、例えばインターネットなどのネットワーク経由の通信で接続したサーバと端末を組み合わせて機能するシステムとして運用するのが好ましい。なお、以降の説明では、本発明を情報処理装置１０で実現する形態を例に挙げる。
また、本発明は、情報処理装置１０を複数組み合わせてなる複数台のコンピュータにより、いわゆるシステムとして実現してもよい。複数台のコンピュータにより本発明を実現する場合には、後述するように、複数台のコンピュータに各機能を分担させて、例えばインターネットなどのネットワーク経由の通信で接続したサーバと端末を組み合わせて機能するシステムとして運用するのが好ましい。なお、以降の説明では、本発明を情報処理装置１０で実現する形態を例に挙げる。
【0016】
情報処理装置１０は、ＣＰＵ１１によりメモリ１２に格納されたコンピュータプログラムが実行されることにより、本方法を実行する。このコンピュータプログラムが、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ１３又は通信ユニット１４を介して一旦インストールされたのちに、或いは直接にメモリ１２に格納され実行されることで、本方法が実行され、また、本装置或いは本システムが、後述する各手段の組み合わせとして実現される。
【0017】
情報処理装置１０（ＣＰＵ１１）は、教師データを用いた機械学習により得られた学習済みモデルを利用可能である。
ここでの「学習済みモデル」は、教師データを用いた機械学習、即ち教師あり学習により得られたモデルであり、ＡＩ（Artificial Intelligence）モデル、機械学習（Machine Learning（ＭＬ））モデル等と表記可能である。
本実施形態で利用される学習済みモデルは、回帰分析で得られる回帰式であってもよいし、ディープラーニング（深層学習）等で得られるニューラルネットワークモデルであってもよく、そのモデルのデータ構造や学習アルゴリズム等は限定されない。本実施形態では、学習済みモデルとして、畳み込み演算を含むニューラルネットワーク（ＣＮＮ）モデルが利用されることが好ましい。
学習済みモデルは、情報処理装置１０内のメモリ１２に格納されていてもよいし、情報処理装置１０が通信でアクセス可能な他のコンピュータのメモリに格納されていてもよい。
ここでの「学習済みモデル」は、教師データを用いた機械学習、即ち教師あり学習により得られたモデルであり、ＡＩ（Artificial Intelligence）モデル、機械学習（Machine Learning（ＭＬ））モデル等と表記可能である。
本実施形態で利用される学習済みモデルは、回帰分析で得られる回帰式であってもよいし、ディープラーニング（深層学習）等で得られるニューラルネットワークモデルであってもよく、そのモデルのデータ構造や学習アルゴリズム等は限定されない。本実施形態では、学習済みモデルとして、畳み込み演算を含むニューラルネットワーク（ＣＮＮ）モデルが利用されることが好ましい。
学習済みモデルは、情報処理装置１０内のメモリ１２に格納されていてもよいし、情報処理装置１０が通信でアクセス可能な他のコンピュータのメモリに格納されていてもよい。
【0018】
このように本実施形態における情報処理装置１０は、学習済みモデルを利用可能な装置であって肌状態推定方法を実行可能な肌状態推定装置である。
以降、本方法で利用される学習済みモデルは、ＡＩモデル或いは推定モデルと表記される。また、このＡＩモデルの学習において教師データとして用いられた顔画像群は、後述するように共通の規則によって対応する位置の座標が一致するように正規化されているが、その規則をＡＩモデルの入力規則と表記する。また、以降の説明では、本方法の実行主体をＣＰＵ１１として説明する。
以降、本方法で利用される学習済みモデルは、ＡＩモデル或いは推定モデルと表記される。また、このＡＩモデルの学習において教師データとして用いられた顔画像群は、後述するように共通の規則によって対応する位置の座標が一致するように正規化されているが、その規則をＡＩモデルの入力規則と表記する。また、以降の説明では、本方法の実行主体をＣＰＵ１１として説明する。
【0019】
〔肌状態推定方法及び装置〕
以下、本実施形態の詳細について図２、図３及び図４を用いて説明する。図２は、本実施形態に係る肌状態推定装置（単に本装置と略称する場合もある）の各部の機能を説明するためのブロックダイアグラムである。図３は、本実施形態に係る肌状態推定方法を示すフローチャートであり、図４は、本実施形態に係る肌状態推定方法における顔画像の変換の流れを示す図である。
以下、本実施形態の詳細について図２、図３及び図４を用いて説明する。図２は、本実施形態に係る肌状態推定装置（単に本装置と略称する場合もある）の各部の機能を説明するためのブロックダイアグラムである。図３は、本実施形態に係る肌状態推定方法を示すフローチャートであり、図４は、本実施形態に係る肌状態推定方法における顔画像の変換の流れを示す図である。
【0020】
本方法の各工程を機能ブロックとして説明すると、本装置は、図２に示すように、対象者の顔画像を取得する画像取得手段と、画像取得手段により取得された顔画像に写り込む人顔の顔領域における所定の複数個所の位置座標を特定する位置特定手段と、ＡＩモデルにおける入力規則に合わせるべく当該取得された顔画像に写り込む人顔の顔領域の輪郭上の複数点が画像外縁に位置するようにその顔画像を変換して変換後顔画像を得る変換手段、変換後顔画像を入力画像として予め準備した畳込みニューラルネットワークにより形成されたＡＩモデルに入力して対象者の顔の肌状態情報を取得する情報取得手段と、取得された肌状態情報を提示するための画像情報を生成する情報表示手段とを備える。
以下の各工程の説明は、特に断らない限り、対応する各手段にも当てはまるので、各手段の動作については、そちらを参照されたい。
なお、各手段は、コンピュータのＣＰＵ１１と周辺回路及び各機能を実現するためのコンピュータプログラムや論理回路などを適宜組み合わせることで実現する。例えば、ＡＩモデルを用いた肌状態推定を実行する手段は、ＧＰＵを用いて実現するのが好ましいが、一般的なＣＰＵとプログラムを組み合わせることによっても実現できる。言い換えれば、コンピュータを上記肌状態推定システムの全部又は一部として機能させるプログラムを提供可能であるし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体も提供可能である。
以下の各工程の説明は、特に断らない限り、対応する各手段にも当てはまるので、各手段の動作については、そちらを参照されたい。
なお、各手段は、コンピュータのＣＰＵ１１と周辺回路及び各機能を実現するためのコンピュータプログラムや論理回路などを適宜組み合わせることで実現する。例えば、ＡＩモデルを用いた肌状態推定を実行する手段は、ＧＰＵを用いて実現するのが好ましいが、一般的なＣＰＵとプログラムを組み合わせることによっても実現できる。言い換えれば、コンピュータを上記肌状態推定システムの全部又は一部として機能させるプログラムを提供可能であるし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体も提供可能である。
【0021】
本実施形態において情報取得手段及び情報取得工程で用いられるＡＩモデルは、所定画像サイズ、即ち所定の縦横のピクセル数の矩形形状（本明細書では所定矩形形状と呼ぶ）の入力顔画像からその入力顔画像に写り込む人顔の肌状態を推定する学習済みモデルである。このため、本実施形態で利用されるＡＩモデルは肌状態推定モデルとも表記する。
「所定画像サイズ」は、画像の予め決められたサイズを意味し、ピクセル数で指定する。当該画像サイズは、例えば、２５×２０（５００）ピクセル、２０×２０（４００）ピクセル、２０×１１（２２０）ピクセル等のように予め決められる。なお、ここで示した画像サイズは一例である。
「所定矩形形状」は、画像の予め決められた矩形形状を意味し、上記「所定画像サイズ」に応じた長辺及び短辺の長さを有する長方形又は正方形である。
以降、顔画像に関して「所定矩形形状」と表記した場合には、ＡＩモデルの入力顔画像に関して予め決められた縦横のピクセル数の矩形形状を示すものとする。
なお、本実施形態では所定矩形形状を一例として示すが、用いることができるＡＩモデルへの入力画像の形状、すなわち所定形状としては、矩形以外にも円形、楕円形などがある。いずれの形状においても、共通の規則によって対応する位置の座標が一致するように変換することで、所定形状が矩形である場合と同様の効果が得られる。
「所定画像サイズ」は、画像の予め決められたサイズを意味し、ピクセル数で指定する。当該画像サイズは、例えば、２５×２０（５００）ピクセル、２０×２０（４００）ピクセル、２０×１１（２２０）ピクセル等のように予め決められる。なお、ここで示した画像サイズは一例である。
「所定矩形形状」は、画像の予め決められた矩形形状を意味し、上記「所定画像サイズ」に応じた長辺及び短辺の長さを有する長方形又は正方形である。
以降、顔画像に関して「所定矩形形状」と表記した場合には、ＡＩモデルの入力顔画像に関して予め決められた縦横のピクセル数の矩形形状を示すものとする。
なお、本実施形態では所定矩形形状を一例として示すが、用いることができるＡＩモデルへの入力画像の形状、すなわち所定形状としては、矩形以外にも円形、楕円形などがある。いずれの形状においても、共通の規則によって対応する位置の座標が一致するように変換することで、所定形状が矩形である場合と同様の効果が得られる。
【0022】
ＡＩモデルにより推定されるのは、人顔の肌の状態を示す情報であればよく、具体的な推定項目は何ら限定されない。肌状態の推定項目としては、例えば、実施例で挙げているように、化粧感、肌年齢、男性・女性肌らしさ、パウダリー、グロッシー、濡れ感、うるおい感、乾燥感、なめらかさ、キメの整い、つや、ハリ、透明感、肌の白さ、黄み、くすみ等が推定可能である。化粧感は素肌っぽくない感じを示し、パウダリーは粉っぽさを示し、グロッシーは表面光沢の程度を示す。ＡＩモデルの推定項目は、このような項目のみに限定されず、美しさの総合評価のようにその他の項目であってもよい。
【0023】
ＡＩモデルは、人顔の肌状態に関する複数の項目を推定可能に形成してもよいし、いずれか一つの項目を推定可能に形成してもよい。前者の場合、例えば、ＡＩモデルは、それぞれ異なる肌状態項目の推定情報を出力可能な複数のニューラルネットワークで構築してもよい。後者の場合、一つのニューラルネットワークを複数の肌状態項目の推定情報を出力するように構築してもよい。
なお、ＡＩモデルの学習方法については後述する。
なお、ＡＩモデルの学習方法については後述する。
【0024】
本方法は、図３に示されるように、画像取得工程（Ｓ２１）、位置特定工程（Ｓ２２）、変換工程（Ｓ２３）及び情報取得工程（Ｓ２４）（Ｓ２５）を含む。
画像取得工程（Ｓ２１）では、ＣＰＵ１１が対象者の顔画像を取得する。図４の例では、符号Ｇ１が取得された顔画像を示している。
取得される顔画像には、対象者の顔が推定項目の肌状態を解析可能な程度に写り込んでいればよく、対象者の顔の全体又は一部が写り込んでいればよい。取得される顔画像には、髪、首等のように対象者の顔以外の部位或いは背景が写り込んでいてもよい。
また、当該顔画像に写り込む対象者の角度や位置についても特に限定されない。例えば、取得される顔画像には、対象者の正面顔が写り込んでいてもよいし、対象者の左斜め顔又は右斜め顔が写り込んでいてもよい。また、対象者の顔を下方又は上方から撮像した顔画像が取得されてもよい。
画像取得工程（Ｓ２１）では、ＣＰＵ１１が対象者の顔画像を取得する。図４の例では、符号Ｇ１が取得された顔画像を示している。
取得される顔画像には、対象者の顔が推定項目の肌状態を解析可能な程度に写り込んでいればよく、対象者の顔の全体又は一部が写り込んでいればよい。取得される顔画像には、髪、首等のように対象者の顔以外の部位或いは背景が写り込んでいてもよい。
また、当該顔画像に写り込む対象者の角度や位置についても特に限定されない。例えば、取得される顔画像には、対象者の正面顔が写り込んでいてもよいし、対象者の左斜め顔又は右斜め顔が写り込んでいてもよい。また、対象者の顔を下方又は上方から撮像した顔画像が取得されてもよい。
【0025】
画像取得工程、即ち画像取得手段で取得される顔画像は、例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式、ＢＭＰ（Bitmap image）形式、ＴＩＦＦ（Tagged Image File Format）形式、ＧＩＦ（Graphic Interchange Format）形式等の画像ファイルとして取得される。
また、取得される顔画像は、その顔画像に写り込む人顔の肌状態を推定可能であれば、カラー画像であってもよいし、グレースケール画像であってもよい。
ＣＰＵ１１は、対象者の顔を撮像したカメラや他のコンピュータなどから、通信回線や可搬型記録媒体を経由して顔画像を取得する。
以降、工程（Ｓ２１）で取得された顔画像は元顔画像と表記する場合もある。
なお、取得される元顔画像は、所定矩形形状の所定画像サイズと同じサイズである必要はないが、総ピクセル数は、所定矩形形状の所定画像サイズより多いほうが好ましい。
また、取得される顔画像は、その顔画像に写り込む人顔の肌状態を推定可能であれば、カラー画像であってもよいし、グレースケール画像であってもよい。
ＣＰＵ１１は、対象者の顔を撮像したカメラや他のコンピュータなどから、通信回線や可搬型記録媒体を経由して顔画像を取得する。
以降、工程（Ｓ２１）で取得された顔画像は元顔画像と表記する場合もある。
なお、取得される元顔画像は、所定矩形形状の所定画像サイズと同じサイズである必要はないが、総ピクセル数は、所定矩形形状の所定画像サイズより多いほうが好ましい。
【0026】
位置特定工程（Ｓ２２）の詳細について説明する。
位置特定工程（Ｓ２２）では、まず、以下のように、顔領域全体の輪郭上の点を第一輪郭点として選んだ後、三角メッシュに第一輪郭点の内部を分割する。それから、複数のメッシュの頂点を、それらを結んでつくられる図形が所定局所部位領域を内包するように第三輪郭点として選び、続いて、第一輪郭点と第三輪郭点との間に、第二輪郭点を選ぶ。より詳しく述べると、顔領域を多数のメッシュに分割したのち、各メッシュの辺の交わる点（メッシュ点）から輪郭点が選ばれる。第一輪郭点は、顔全体の輪郭、すなわち、顔と髪や首を含む顔以外の部分との境界、好ましくは、境界のやや内側に位置する点である。第三輪郭点は、所定局所部位領域をすべてその内側に含むようにメッシュの辺を結んだときのメッシュ点であって、第一輪郭点との最短メッシュ数（以下、２つのメッシュ点を結ぶ最小のメッシュ辺数をメッシュ距離と呼ぶ）が等しくなる点が選ばれる。そして、第二輪郭点は、第一輪郭点と第三輪郭点との間のメッシュ点が選ばれる。
装置がメッシュを自動的に生成し、第一輪郭点の画像上の位置を求めた後、第三輪郭点の位置を第一輪郭点からのメッシュ距離が等しくなるように画像上に定め、そのあと、第二輪郭点の画像上の位置を生成されたメッシュから求める。
なお、上記の基準に従って第一から第三輪郭点を設定することができない、例えば第一輪郭点と第三輪郭点のメッシュ距離が１以下の場合や、第三輪郭点すべてが第一輪郭点から等メッシュ距離にならない場合には、メッシュを細かくする（総メッシュ数を増やす）再計算を行い、第一から第三輪郭点を選ぶことができるよう、各メッシュ点の画像上の位置を変更する。
位置特定工程（Ｓ２２）では、まず、以下のように、顔領域全体の輪郭上の点を第一輪郭点として選んだ後、三角メッシュに第一輪郭点の内部を分割する。それから、複数のメッシュの頂点を、それらを結んでつくられる図形が所定局所部位領域を内包するように第三輪郭点として選び、続いて、第一輪郭点と第三輪郭点との間に、第二輪郭点を選ぶ。より詳しく述べると、顔領域を多数のメッシュに分割したのち、各メッシュの辺の交わる点（メッシュ点）から輪郭点が選ばれる。第一輪郭点は、顔全体の輪郭、すなわち、顔と髪や首を含む顔以外の部分との境界、好ましくは、境界のやや内側に位置する点である。第三輪郭点は、所定局所部位領域をすべてその内側に含むようにメッシュの辺を結んだときのメッシュ点であって、第一輪郭点との最短メッシュ数（以下、２つのメッシュ点を結ぶ最小のメッシュ辺数をメッシュ距離と呼ぶ）が等しくなる点が選ばれる。そして、第二輪郭点は、第一輪郭点と第三輪郭点との間のメッシュ点が選ばれる。
装置がメッシュを自動的に生成し、第一輪郭点の画像上の位置を求めた後、第三輪郭点の位置を第一輪郭点からのメッシュ距離が等しくなるように画像上に定め、そのあと、第二輪郭点の画像上の位置を生成されたメッシュから求める。
なお、上記の基準に従って第一から第三輪郭点を設定することができない、例えば第一輪郭点と第三輪郭点のメッシュ距離が１以下の場合や、第三輪郭点すべてが第一輪郭点から等メッシュ距離にならない場合には、メッシュを細かくする（総メッシュ数を増やす）再計算を行い、第一から第三輪郭点を選ぶことができるよう、各メッシュ点の画像上の位置を変更する。
【0027】
位置特定工程（Ｓ２２）では、ＣＰＵ１１が元顔画像に写り込む人顔の顔領域における所定の複数箇所の位置座標（所定位置座標）を特定する。図４の例では、符号Ｇ２の矩形内の点が特定された複数個所の位置座標を示している。
工程（Ｓ２２）で特定される位置座標には、顔領域の形状特徴点の位置座標が少なくとも含まれる。顔領域の形状特徴点は、人顔の形状的特徴を有する位置の点を示し、例えば、顔の輪郭上の点、目の輪郭（上瞼の縁及び下瞼の縁）上の点、眉毛の輪郭上の点、唇の輪郭（上唇の上縁及び下唇の下縁）上の点、鼻の頂点（鼻尖の点）、鼻筋（鼻梁）上の点、鼻根の点等が該当する。但し、工程（Ｓ２２）で特定される位置座標は、このような形状特徴点の位置座標のみに限定されず、このような形状特徴点から導出される顔領域内の所定箇所の位置座標であってもよいし、形状特徴点の位置座標とそれ以外の箇所の位置座標とを含んでいてもよい。
工程（Ｓ２２）で特定される位置座標には、顔領域の形状特徴点の位置座標が少なくとも含まれる。顔領域の形状特徴点は、人顔の形状的特徴を有する位置の点を示し、例えば、顔の輪郭上の点、目の輪郭（上瞼の縁及び下瞼の縁）上の点、眉毛の輪郭上の点、唇の輪郭（上唇の上縁及び下唇の下縁）上の点、鼻の頂点（鼻尖の点）、鼻筋（鼻梁）上の点、鼻根の点等が該当する。但し、工程（Ｓ２２）で特定される位置座標は、このような形状特徴点の位置座標のみに限定されず、このような形状特徴点から導出される顔領域内の所定箇所の位置座標であってもよいし、形状特徴点の位置座標とそれ以外の箇所の位置座標とを含んでいてもよい。
【0028】
なお、位置特定工程（Ｓ２２）は、ＣＰＵ１１が実行するほか、利用者が表示装置に表示された元顔画像を指示に従って順次特定することもできる。この場合、マウスなどのポインティングディバイスで位置を特定しても良いが、操作性の面からはタッチスクリーンで行うのが好ましく、いわゆるスマートフォンの端末では、タッチスクリーンを用いることとなる。なお、利用者が行うのは煩雑なので、コンピュータを用いて自動的に行うのが好ましいのは言うまでもない。
【0029】
工程（Ｓ２２）で特定される所定位置座標は、顔領域内の所定局所部位領域を取り囲む複数の外周点の位置座標を含むことが好ましい。
「所定局所部位領域」は、肌状態の推定に寄与しないため、ＡＩモデルに入力する顔画像内の顔領域から除くのが好ましい部位であり、例えば、目、眉毛、唇、鼻孔、口ひげ、顎ひげ等である。
ＡＩモデルに入力する顔画像内の顔領域から、除くのが好ましい所定局所部位領域のピクセルを除く方法として、本実施形態では所定局所部位領域を囲む肌のピクセルを顔モデルにおける直線又は曲線上に配置し、結果として所定局所部位領域内のピクセルを顔モデルに射影しないということを行う。この際、所定局所部位領域の相互に対向する外周点の位置が顔モデル上では一致することになる。
本実施形態においては「所定局所部位領域」は、目領域、眉毛領域及び唇領域である。唇領域は、上唇領域及び下唇領域であるが、これらに加えて、当該顔画像に写り込む対象者が口を開けた状態である場合には、口内領域も含む。
「所定局所部位領域」は、肌状態の推定に寄与しないため、ＡＩモデルに入力する顔画像内の顔領域から除くのが好ましい部位であり、例えば、目、眉毛、唇、鼻孔、口ひげ、顎ひげ等である。
ＡＩモデルに入力する顔画像内の顔領域から、除くのが好ましい所定局所部位領域のピクセルを除く方法として、本実施形態では所定局所部位領域を囲む肌のピクセルを顔モデルにおける直線又は曲線上に配置し、結果として所定局所部位領域内のピクセルを顔モデルに射影しないということを行う。この際、所定局所部位領域の相互に対向する外周点の位置が顔モデル上では一致することになる。
本実施形態においては「所定局所部位領域」は、目領域、眉毛領域及び唇領域である。唇領域は、上唇領域及び下唇領域であるが、これらに加えて、当該顔画像に写り込む対象者が口を開けた状態である場合には、口内領域も含む。
【0030】
当該複数の外周点は、顔領域内の所定局所部位領域を取り囲むように位置する点であればよく、所定局所部位領域の輪郭上の点であってもよいし、所定局所部位領域の輪郭よりも外側の点であってもよい。
このように、工程（Ｓ２２）で顔領域内の所定局所部位領域を取り囲む複数の外周点の位置座標が特定されることにより、後述する変換工程（Ｓ２３）において当該所定局所部位領域を除くことができる。
所定局所部位領域は完全に除去されることが好ましいが、縮小される形態であっても推定精度の向上には寄与し得る。例えば、当該複数の外周点として、所定局所部位領域の輪郭上の点或いはその輪郭よりも僅かに内側の点が特定され、特定されたそれら外周点を顔モデルにおける直線上又は曲線上に配置した場合には、所定局所部位領域が縮小されて残ることになる。このような場合でも、肌状態の推定に寄与しない領域を縮小させることができることから、ＡＩモデルによる肌状態の推定精度を向上させることは可能である。
このように、工程（Ｓ２２）で顔領域内の所定局所部位領域を取り囲む複数の外周点の位置座標が特定されることにより、後述する変換工程（Ｓ２３）において当該所定局所部位領域を除くことができる。
所定局所部位領域は完全に除去されることが好ましいが、縮小される形態であっても推定精度の向上には寄与し得る。例えば、当該複数の外周点として、所定局所部位領域の輪郭上の点或いはその輪郭よりも僅かに内側の点が特定され、特定されたそれら外周点を顔モデルにおける直線上又は曲線上に配置した場合には、所定局所部位領域が縮小されて残ることになる。このような場合でも、肌状態の推定に寄与しない領域を縮小させることができることから、ＡＩモデルによる肌状態の推定精度を向上させることは可能である。
【0031】
また、工程（Ｓ２２）で特定される所定位置座標は、顔領域の輪郭上、すなわち顔領域とそれ以外の領域との境界上の複数の点、顔領域内部の鼻頂点及び顔領域内部の他の複数の点の位置座標を含むことが好ましい。
後述する変換工程（Ｓ２３）において、顔領域の輪郭上の点のうち４つの第一輪郭点は顔画像の所定矩形形状の頂点に配置され、顔領域の輪郭上の他の点は顔画像の所定矩形形状の辺上に配置される。このため、当該４つの第一輪郭点は、顔領域の輪郭上の左右の上方の２つの点と当該輪郭上の左右の下方の２つの点とに設定される。
図４の例では、左右の眉尻に隣接する輪郭上の２つの点（Ｇ２１及びＧ２４）と左右の口角に隣接する輪郭上の２つの点（Ｇ２２及びＧ２３）とが当該第一輪郭点に該当し、鼻頂点が符号Ｇ２５で示されている。但し、当該第一輪郭点は、顔領域の輪郭上の左右の上方の２つの点と当該輪郭上の左右の下方の２つの点との組み合わせであればよく、図４の例に限定されない。
後述する変換工程（Ｓ２３）において、顔領域の輪郭上の点のうち４つの第一輪郭点は顔画像の所定矩形形状の頂点に配置され、顔領域の輪郭上の他の点は顔画像の所定矩形形状の辺上に配置される。このため、当該４つの第一輪郭点は、顔領域の輪郭上の左右の上方の２つの点と当該輪郭上の左右の下方の２つの点とに設定される。
図４の例では、左右の眉尻に隣接する輪郭上の２つの点（Ｇ２１及びＧ２４）と左右の口角に隣接する輪郭上の２つの点（Ｇ２２及びＧ２３）とが当該第一輪郭点に該当し、鼻頂点が符号Ｇ２５で示されている。但し、当該第一輪郭点は、顔領域の輪郭上の左右の上方の２つの点と当該輪郭上の左右の下方の２つの点との組み合わせであればよく、図４の例に限定されない。
【0032】
工程（Ｓ２２）における位置座標の特定手法には、様々な場面で利用されている顔認識処理が利用可能である。顔認識処理では、例えば、ＯｐｅｎＣＶ（Open Source Computer Vision Library）のＦａｃｅｍａｒｋやＧｏｏｇｌｅ（登録商標）のＦａｃｅＭｅｓｈのような人顔の複数の節点の位置を検出可能なＡＩモデルが利用される。本実施形態では、工程（Ｓ２２）における位置座標の特定手法は何ら限定されない。例えば、工程（Ｓ２２）において、ＣＰＵ１１は、このような顔認識ＡＩモデルを用いて検出されたランドマークの中の一部又は全部の位置座標を顔領域における複数箇所の位置座標として特定することができる。
【0033】
変換工程（Ｓ２３）では、ＣＰＵ１１は、工程（Ｓ２２）で特定された基準となる所定の複数箇所の位置座標を座標変換して顔領域が所定矩形形状となり、かつ元顔画像の各ピクセルの位置がＡＩモデルの入力規則に対応する位置になるように、工程（Ｓ２１）で取得された元顔画像の各ピクセルの位置を変換する、いわゆる写像操作を行う。すなわち、変換工程（Ｓ２３）は、座標変換工程、あるいは写像工程と呼ぶこともできる。同様に、後述する変換手段は、座標変換手段あるいは写像手段と呼ぶこともできる。
図４の例では、符号Ｇ３で示される矩形内に座標変換後の位置座標が示されており、符号Ｇ４が変換後の顔画像を示している。言い換えると、各ピクセルがその値を保持したまま、その位置のみを変換することとなる。各ピクセルの位置が変化すると、ピクセル間の空間距離が変化するので、距離が延びるときは間を埋めるピクセルの値を補間で求め、距離が縮むときは、例えば平均値などを用いて新たなピクセルの値を求めるなどの演算を行うが、その具体的な方法は、モーフィング技術などの周知技術を応用すれば足りるので、詳細は省略する。なお、たまたま元顔画像の基準となる所定箇所の位置座標がＡＩモデルの入力規則に対応する位置と一致する場合もあり、その場合も、写像操作あるいは位置変換に含まれるのは、当業者であれば当然に理解できるであろう。
元顔画像の顔領域が所定矩形形状となるように座標変換が行われれば、その手法は限定されない。
なお、位置特定工程（Ｓ２２）と変換工程（Ｓ２３）とを一つの変換工程として実現することもできる。すなわち、元顔画像のある画素が基準画像のどの位置に相当するか判明すれば、直ちに変換先（射影先）の座標を特定できるので、必ずしも二段階の工程で行う必要はない。このことは、位置特定手段と変換手段とについてもいえ、本装置においては両者が一体となった変換手段として構成することもできる。
図４の例では、符号Ｇ３で示される矩形内に座標変換後の位置座標が示されており、符号Ｇ４が変換後の顔画像を示している。言い換えると、各ピクセルがその値を保持したまま、その位置のみを変換することとなる。各ピクセルの位置が変化すると、ピクセル間の空間距離が変化するので、距離が延びるときは間を埋めるピクセルの値を補間で求め、距離が縮むときは、例えば平均値などを用いて新たなピクセルの値を求めるなどの演算を行うが、その具体的な方法は、モーフィング技術などの周知技術を応用すれば足りるので、詳細は省略する。なお、たまたま元顔画像の基準となる所定箇所の位置座標がＡＩモデルの入力規則に対応する位置と一致する場合もあり、その場合も、写像操作あるいは位置変換に含まれるのは、当業者であれば当然に理解できるであろう。
元顔画像の顔領域が所定矩形形状となるように座標変換が行われれば、その手法は限定されない。
なお、位置特定工程（Ｓ２２）と変換工程（Ｓ２３）とを一つの変換工程として実現することもできる。すなわち、元顔画像のある画素が基準画像のどの位置に相当するか判明すれば、直ちに変換先（射影先）の座標を特定できるので、必ずしも二段階の工程で行う必要はない。このことは、位置特定手段と変換手段とについてもいえ、本装置においては両者が一体となった変換手段として構成することもできる。
【0034】
このように、元顔画像を所定矩形形状の顔画像であってその顔画像内で顔領域が全体を占めるような顔画像に変換することで、ＡＩモデルに入力される顔画像において顔領域以外の領域をなくすと共に顔領域を拡大することができる。これにより、ＡＩモデルへ入力される顔画像において顔領域の解像度の低下を防ぐことができ、ＡＩモデルの推定精度を向上させることができる。
このような作用効果は、ＡＩモデルが畳み込み演算を含むニューラルネットワークモデルで実現される場合に顕著となる。このようなＡＩモデルでは、入力画像の顔領域以外の情報が保存された状態で畳み込み演算が繰り返されるため、入力画像内に含まれる解析対象とならない領域（肌領域以外の領域）の影響がＡＩモデルの深層においても残存する。結果、ＡＩモデルに不要な情報が残ってしまうことになる。更に、顔領域以外の情報が含まれる結果、解析対象の情報が低減してしまう。これらの要因により、ＡＩモデルの推定精度の低下に繋がる。
このような作用効果は、ＡＩモデルが畳み込み演算を含むニューラルネットワークモデルで実現される場合に顕著となる。このようなＡＩモデルでは、入力画像の顔領域以外の情報が保存された状態で畳み込み演算が繰り返されるため、入力画像内に含まれる解析対象とならない領域（肌領域以外の領域）の影響がＡＩモデルの深層においても残存する。結果、ＡＩモデルに不要な情報が残ってしまうことになる。更に、顔領域以外の情報が含まれる結果、解析対象の情報が低減してしまう。これらの要因により、ＡＩモデルの推定精度の低下に繋がる。
【0035】
工程（Ｓ２２）において、顔領域の輪郭上の複数点、顔領域の鼻頂点及び顔領域の他の複数点の位置座標が特定されている場合には、工程（Ｓ２３）における座標変換は、次のように行われる。即ち、図４の例に示されるように、元顔画像の顔領域の輪郭上の複数点に含まれる４つの第一輪郭点（Ｇ２１、Ｇ２２、Ｇ２３及びＧ２４）の各々が所定矩形形状の頂点にそれぞれ配置され、鼻頂点（Ｇ２５）が所定矩形形状の中心に配置され、当該第一輪郭点及び鼻頂点の移動に対応して顔領域の他の複数点が移動するように当該座標変換が行われる。
【0036】
このように座標変換を行うことで変換後の所定矩形形状の顔画像内で顔領域が全体を占めるようにすることができる。また、当該座標変換によれば、元顔画像に写り込む各個人の顔の輪郭の形状や大きさの違いをなくし一定化することができる。結果、ＡＩモデルに入力される顔画像において顔領域内の鼻や口、目等の位置を概ね共通化することができるため、ＡＩモデルの学習効率等を効率化することができると共に、ＡＩモデルの推定精度を向上させることにも繋がる。
【0037】
本実施形態では、工程（Ｓ２２）において、顔領域内の所定局所部位領域を取り囲む複数の外周点の位置座標が特定されているので、工程（Ｓ２３）における画像変換は、次のように行う。即ち、ＣＰＵ１１は、座標変換において当該所定局所部位領域を介して相互に対向する外周点の位置座標を一致させる、言い換えると外周点を連結させて、元顔画像の顔領域内の当該所定局所部位領域を除く。
ここでの「外周点の連結」は、当該所定局所部位領域を介して相互に対向する二以上の外周点を同一の位置座標に座標変換することで実現するほか、当該局所部位領域がなくなる或いは縮小されるように当該二以上の外周点を近接する位置に移動させることで実現してもよい。
ここでの「外周点の連結」は、当該所定局所部位領域を介して相互に対向する二以上の外周点を同一の位置座標に座標変換することで実現するほか、当該局所部位領域がなくなる或いは縮小されるように当該二以上の外周点を近接する位置に移動させることで実現してもよい。
【0038】
これにより、ＡＩモデルに入力する顔画像から、人顔の肌状態とは無関係な局所部位領域を排除しつつ、その顔画像内で肌領域を拡大させることができる。結果、元顔画像の顔領域のピクセル数がＡＩモデルの入力画像の所定矩形形状より少ないときに生じる顔領域の解像度の低下を、従来手法よりも防ぐことができ、ひいては、ＡＩモデルの推定精度を向上させることができる。
このため、当該所定局所部位領域は、肌状態とは無関係な目領域、眉毛領域若しくは唇領域のいずれか一つとされることが好ましく、それらのいずれか複数とされることがより好ましく、それらの全部とされることが更に好ましい。
このため、当該所定局所部位領域は、肌状態とは無関係な目領域、眉毛領域若しくは唇領域のいずれか一つとされることが好ましく、それらのいずれか複数とされることがより好ましく、それらの全部とされることが更に好ましい。
【0039】
情報取得工程（Ｓ２４）（Ｓ２５）では、ＣＰＵ１１は、工程（Ｓ２３）で変換された顔画像をＡＩモデルに入力し（Ｓ２４）、対象者の顔の肌状態情報を取得する（Ｓ２５）。
ＡＩモデルを実現するプログラム等が情報処理装置１０内のメモリ１２に格納されている場合には、ＣＰＵ１１は、工程（Ｓ２３）で変換された顔画像をそのＡＩモデルに入力することで当該ＡＩモデルの出力として対象者の顔の肌状態情報を取得することができる。
ＡＩモデルを実現するプログラム等が情報処理装置１０内のメモリ１２に格納されている場合には、ＣＰＵ１１は、工程（Ｓ２３）で変換された顔画像をそのＡＩモデルに入力することで当該ＡＩモデルの出力として対象者の顔の肌状態情報を取得することができる。
【0040】
工程（Ｓ２５）で取得される肌状態情報は、上述したとおり、対象者の顔の肌の状態を示す情報であればよく、具体的な推定項目は何ら限定されない。ＡＩモデルが人顔の肌状態に関する複数の項目を推定可能に形成されている場合には、取得される肌状態情報は、複数の肌状態項目の情報とされてもよいし、一つの肌状態項目の情報とされてもよい。
【0041】
また、近年、ＡＩモデルによる判断の根拠を示す様々な技術が存在している。例えば、ＣＮＮのＡＩモデルのためのＧｒａｄＣａｍと呼ばれる技術があり、どの領域が結論に寄与しているかを知ることができる。
そこで、工程（Ｓ２３）では、このような技術を用いてＡＩモデルの推定結果に寄与する顔領域の部位が更に重きをおかれるように座標変換されてもよい。或いは、工程（Ｓ２５）において、ＣＰＵ１１は、対象者の顔の肌状態情報及びその肌状態情報に対応する顔領域の部位がどの位置にあるかについての情報を取得することもできる。このとき、ＣＰＵ１１は、例えば、元顔画像の顔領域内のその部位が識別可能に表示された顔画像を出力することもできる。このように当該肌状態に寄与する部位を画面上に表示する工程を設けることによって、対象者のどの部位に施術や製品の適用をすればよいか、容易に理解できる画像を表示することができるので好ましい。
そこで、工程（Ｓ２３）では、このような技術を用いてＡＩモデルの推定結果に寄与する顔領域の部位が更に重きをおかれるように座標変換されてもよい。或いは、工程（Ｓ２５）において、ＣＰＵ１１は、対象者の顔の肌状態情報及びその肌状態情報に対応する顔領域の部位がどの位置にあるかについての情報を取得することもできる。このとき、ＣＰＵ１１は、例えば、元顔画像の顔領域内のその部位が識別可能に表示された顔画像を出力することもできる。このように当該肌状態に寄与する部位を画面上に表示する工程を設けることによって、対象者のどの部位に施術や製品の適用をすればよいか、容易に理解できる画像を表示することができるので好ましい。
【0042】
更に、ＣＰＵ１１は、工程（Ｓ２５）で取得された肌状態情報に基づいて、対象者の顔の肌状態に対応する美容施術方法若しくは美容製品の一方又は両方の推奨情報を出力する工程を更に実行することもできる。例えば、出力される推奨情報は、対象者の肌状態を改善させる或いは対象者が希望する肌年齢を達成するために推奨される美容施術方法や化粧料・サプリメント等の美容製品の情報を含む。このとき、上述したように肌状態情報に対応する顔領域の部位情報を取得することができる場合には、出力される推奨情報は、顔領域の部位ごとに異なる美容製品或いは美容施術方法を提示するようにすることもできる。また、ＡＩモデルが複数の肌状態項目を推定可能に形成されている場合には、出力される推奨情報は、肌状態項目ごとに異なる美容製品或いは美容施術方法を提示するようにすることもできる。
【0043】
複数種の美容施術方法及び複数種の美容製品の各々がＡＩモデルにより推定され得る各肌状態（各肌状態項目の各肌状態）にそれぞれ関連付けられてメモリ１２に格納されており、ＣＰＵ１１は、メモリ１２に格納されているその情報に基づいて、工程（Ｓ２５）で取得された肌状態情報に対応する一以上の美容施術方法又は一以上の美容製品を特定し、この特定された方法若しくは製品の一方又は両方を含む推奨情報を生成することができる。方法／製品と肌状態との関連付け情報を他のコンピュータの記憶装置に格納して、通信を介して参照するよう構成してもよい。
当該推奨情報の出力形態は特に制限されない。例えば、ＣＰＵ１１は、当該推奨情報を表示装置１５へ表示させてもよいし、印刷装置へ印刷させてもよいし、他のコンピュータへ送信することもできるし、可搬型記録媒体等へ電子ファイルとして格納することもできる。
当該推奨情報の出力形態は特に制限されない。例えば、ＣＰＵ１１は、当該推奨情報を表示装置１５へ表示させてもよいし、印刷装置へ印刷させてもよいし、他のコンピュータへ送信することもできるし、可搬型記録媒体等へ電子ファイルとして格納することもできる。
【0044】
〔ＡＩモデル（肌状態推定モデル）の学習方法〕
上述した本方法で利用されるＡＩモデル（肌状態推定モデル）の学習方法について図５を用いて説明する。
図５は、本実施形態に係る肌状態推定モデルの学習方法（以降、本学習方法と表記する場合がある）を示すフローチャートである。本学習方法は、図１に例示されるような情報処理装置１０（ＣＰＵ１１）により実行可能である。
本学習方法は、概略、教師データを取得する工程（Ｓ４１）と、その教師データに含まれる各顔画像をそれぞれ変換する変換工程（Ｓ４２）（Ｓ４３）と、変換された顔画像を含む教師データを用いてＡＩモデルを学習させる工程（Ｓ４４）とを含む。以下、本学習方法の各工程についてそれぞれ詳述する。
上述した本方法で利用されるＡＩモデル（肌状態推定モデル）の学習方法について図５を用いて説明する。
図５は、本実施形態に係る肌状態推定モデルの学習方法（以降、本学習方法と表記する場合がある）を示すフローチャートである。本学習方法は、図１に例示されるような情報処理装置１０（ＣＰＵ１１）により実行可能である。
本学習方法は、概略、教師データを取得する工程（Ｓ４１）と、その教師データに含まれる各顔画像をそれぞれ変換する変換工程（Ｓ４２）（Ｓ４３）と、変換された顔画像を含む教師データを用いてＡＩモデルを学習させる工程（Ｓ４４）とを含む。以下、本学習方法の各工程についてそれぞれ詳述する。
【0045】
工程（Ｓ４１）では、ＣＰＵ１１は、顔画像とその顔画像に写り込む人顔の肌状態を示す正解情報との組合せを複数人分有する教師データを取得する。
教師データに含まれる各顔画像は、本方法の工程（Ｓ２１）で取得される顔画像に関して述べたとおりであり、被写体の顔が推定項目の肌状態を解析可能な程度にそれぞれ写り込んでいればよい。教師データに含まれる各顔画像は、所定矩形形状にそれぞれ正規化されていてもよいし、所定矩形形状の所定画像サイズとは異なる画像サイズ又は所定矩形形状とは異なる形状の顔画像を含んでいてもよい。
教師データに含まれる正解情報は、対応する顔画像若しくはその顔画像の被写体自体を評価者が目視或いは測定器等を用いて評価することで得られた人顔の肌状態を示す情報である。ＡＩモデルが人顔の肌状態に関する複数の項目を推定可能に形成されている場合には、当該正解情報は、複数の肌状態項目の情報とされる。
教師データに含まれる各顔画像は、本方法の工程（Ｓ２１）で取得される顔画像に関して述べたとおりであり、被写体の顔が推定項目の肌状態を解析可能な程度にそれぞれ写り込んでいればよい。教師データに含まれる各顔画像は、所定矩形形状にそれぞれ正規化されていてもよいし、所定矩形形状の所定画像サイズとは異なる画像サイズ又は所定矩形形状とは異なる形状の顔画像を含んでいてもよい。
教師データに含まれる正解情報は、対応する顔画像若しくはその顔画像の被写体自体を評価者が目視或いは測定器等を用いて評価することで得られた人顔の肌状態を示す情報である。ＡＩモデルが人顔の肌状態に関する複数の項目を推定可能に形成されている場合には、当該正解情報は、複数の肌状態項目の情報とされる。
【0046】
工程（Ｓ４２）及び工程（Ｓ４３）は、工程（Ｓ４１）で得られた教師データに含まれる顔画像ごとにそれぞれ実行される。
工程（Ｓ４２）では、ＣＰＵ１１は、対象の顔画像に写り込む人顔の顔領域における複数の所定箇所の位置座標（所定位置座標）を特定する。
工程（Ｓ４３）では、ＣＰＵ１１は、工程（Ｓ４２）で特定された複数の所定箇所の位置座標を基準に当該顔領域が所定矩形形状となるように、対象の顔画像を座標変換する。
工程（Ｓ４２）及び工程（Ｓ４３）の処理内容は、上述の工程（Ｓ２２）及び（Ｓ２３）と同様である。
工程（Ｓ４２）では、ＣＰＵ１１は、対象の顔画像に写り込む人顔の顔領域における複数の所定箇所の位置座標（所定位置座標）を特定する。
工程（Ｓ４３）では、ＣＰＵ１１は、工程（Ｓ４２）で特定された複数の所定箇所の位置座標を基準に当該顔領域が所定矩形形状となるように、対象の顔画像を座標変換する。
工程（Ｓ４２）及び工程（Ｓ４３）の処理内容は、上述の工程（Ｓ２２）及び（Ｓ２３）と同様である。
【0047】
教師データに含まれる全ての顔画像に関して工程（Ｓ４２）及び工程（Ｓ４３）が実行されると、工程（Ｓ４４）において、ＣＰＵ１１は、変換された顔画像を含む教師データを用いてＡＩモデルを学習させる。本実施形態ではディープラーニングにより当該ＡＩモデルの学習が行われる。但し、ＡＩモデルに対する具体的な学習アルゴリズムは何ら限定されない。
【0048】
このように本学習方法では、顔画像内で顔領域が全体を占めるような顔画像を教師データとして用いてＡＩモデルを学習させる。即ち、ＡＩモデルの学習に用いられる顔画像は、少なくとも顔領域の輪郭上の複数点が画像外縁に位置する画像であり、顔領域の輪郭上の全点が画像外縁に位置する画像であればより好ましい。
これにより、顔領域以外の画像領域を排除した顔画像を教師データとして用いることになり、顔領域以外の画像領域は推定に利用しないといったことを習得する学習過程を省くことができるため、ＡＩモデルの学習処理を効率化することができる。また、本学習方法で教師データとして用いる顔画像では、顔領域以外の排除された画像領域のピクセル数分、顔領域が拡張されるため、推定対象の顔領域の解像度の低下を抑えることができ、ひいては、高精度のＡＩモデルを構築することができる。
更に、ＡＩモデルの学習に用いられる顔画像は、顔領域内の所定局所部位領域が除かれた又は縮小された画像であることがより好ましく、顔領域の輪郭上の複数点（第一輪郭点を含む）、顔領域内部の鼻頂点及び顔領域内部の他の複数の点（第二輪郭点及び第三輪郭点を含む）が本方法で述べた通りに座標変換された顔画像であることがより好ましい。
ＡＩモデルの学習に用いられる顔画像はこのような共通の規則によって対応する位置の座標が一致するように座標変換される（正規化）。
これにより、顔領域以外の画像領域を排除した顔画像を教師データとして用いることになり、顔領域以外の画像領域は推定に利用しないといったことを習得する学習過程を省くことができるため、ＡＩモデルの学習処理を効率化することができる。また、本学習方法で教師データとして用いる顔画像では、顔領域以外の排除された画像領域のピクセル数分、顔領域が拡張されるため、推定対象の顔領域の解像度の低下を抑えることができ、ひいては、高精度のＡＩモデルを構築することができる。
更に、ＡＩモデルの学習に用いられる顔画像は、顔領域内の所定局所部位領域が除かれた又は縮小された画像であることがより好ましく、顔領域の輪郭上の複数点（第一輪郭点を含む）、顔領域内部の鼻頂点及び顔領域内部の他の複数の点（第二輪郭点及び第三輪郭点を含む）が本方法で述べた通りに座標変換された顔画像であることがより好ましい。
ＡＩモデルの学習に用いられる顔画像はこのような共通の規則によって対応する位置の座標が一致するように座標変換される（正規化）。
【0049】
［変形例］
上述の実施形態の内容は、支障のない範囲で適宜変形することができる。
例えば、上述のＡＩモデルの例では、所定矩形形状の顔画像が教師データとして用いられて学習されたが、円状、楕円状等のような矩形ではない形状の顔画像が教師データとして用いられて学習されてもよい。この場合であっても、変換工程（Ｓ２３）において、ＣＰＵ１１は、ＡＩモデルにおける入力規則に合わせるべく元顔画像に写り込む人顔の顔領域の輪郭上の複数点が画像外縁に位置するように、即ち矩形以外の所定形状の顔画像であってその顔画像内で顔領域が全体を占めるようにその元顔画像を変換して変換後顔画像を得ればよい。
また、上述の実施形態では、好ましい態様として、変換工程（Ｓ２３）において顔領域内の所定局所部位領域を除く又は縮小する処理が行われたが、この処理は省かれてもよい。
上述の実施形態の内容は、支障のない範囲で適宜変形することができる。
例えば、上述のＡＩモデルの例では、所定矩形形状の顔画像が教師データとして用いられて学習されたが、円状、楕円状等のような矩形ではない形状の顔画像が教師データとして用いられて学習されてもよい。この場合であっても、変換工程（Ｓ２３）において、ＣＰＵ１１は、ＡＩモデルにおける入力規則に合わせるべく元顔画像に写り込む人顔の顔領域の輪郭上の複数点が画像外縁に位置するように、即ち矩形以外の所定形状の顔画像であってその顔画像内で顔領域が全体を占めるようにその元顔画像を変換して変換後顔画像を得ればよい。
また、上述の実施形態では、好ましい態様として、変換工程（Ｓ２３）において顔領域内の所定局所部位領域を除く又は縮小する処理が行われたが、この処理は省かれてもよい。
【0050】
ＡＩモデルが肌状態の複数項目を推定可能に形成されている場合には、上述の実施形態を図６及び図７に示されるように変形することができる。
図６は、変形例に係る肌状態推定方法（以降、本変形方法と表記する）における顔画像の変換の流れを示す図であり、図７は、変形例に係る肌状態推定方法を示すフローチャートである。
図６は、変形例に係る肌状態推定方法（以降、本変形方法と表記する）における顔画像の変換の流れを示す図であり、図７は、変形例に係る肌状態推定方法を示すフローチャートである。
【0051】
本変形方法で利用されるＡＩモデルは、例えば、相互に異なる一以上の肌状態項目の推定情報をそれぞれ出力可能な複数のニューラルネットワークで形成される。各ニューラルネットワークは、推定対象となる一以上の肌状態項目に対応する入力規則に合うように変換された顔画像とその肌状態項目の正解情報との組合せを含む教師データを用いて学習される。このため、本変形方法で利用されるＡＩモデルにおける入力規則は複数設けられているといえる。
ＣＰＵ１１は、ＡＩモデルの入力規則に適合する顔画像を得るための、複数の推定項目に対応する相互に異なる複数の座標変換ルールを利用可能とされる。
座標変換ルールは、後述する工程（Ｓ６５）での座標変換で利用されるものであり、後述する工程（Ｓ６４）で特定された複数の所定箇所の位置座標を変換後の顔画像におけるどの位置に移動させるかを規定するものである。
ＣＰＵ１１は、ＡＩモデルの入力規則に適合する顔画像を得るための、複数の推定項目に対応する相互に異なる複数の座標変換ルールを利用可能とされる。
座標変換ルールは、後述する工程（Ｓ６５）での座標変換で利用されるものであり、後述する工程（Ｓ６４）で特定された複数の所定箇所の位置座標を変換後の顔画像におけるどの位置に移動させるかを規定するものである。
【0052】
座標変換ルールは、上述の実施形態で述べたとおり、変換後の顔画像において顔領域が全体を占めるように元顔画像を変換することができるものであればよく、その具体的内容は何ら限定されない。例えば、顔の肌領域の中で推定対象となる肌状態項目に対応する部位領域が拡大され、その肌状態項目とは関係性が薄い部位領域が縮小されるような座標変換ルールが設定される。具体的には、肌年齢の肌状態項目に対応する座標変換ルールは、目尻の領域或いはほうれい線領域を拡大するよう規定される。また、乾燥感の肌状態項目に対応する座標変換ルールは、顔の肌で乾燥し易いことが知られている目元領域や口元領域を拡大するよう規定され、グロッシーの肌状態項目に対応する座標変換ルールは、皮脂量が多い箇所として知られているＴゾーンと呼ばれる領域を拡大するよう規定される。
【0053】
座標変換ルールは、ＡＩモデルが推定可能な項目数と同数分、設けられてもよいし、ＡＩモデルが推定可能な項目数よりも少ない数分、設けられてもよい。前者の場合には、一つの推定項目に対して一つの座標変換ルールが設けられ、座標変換ルールごとに、言い換えると推定項目ごとにニューラルネットワークがそれぞれ形成される。後者の場合には、複数の推定項目に対して一つ設けられる座標変換ルールと一つの推定項目に対して一つ設けられる座標変換ルールとが混在してもよいし、複数の推定項目に対して一つ設けられる座標変換ルールが複数設けられてもよい。この場合も、座標変換ルールごとにニューラルネットワークがそれぞれ形成されるが、推定項目ごとにというわけではない。
【0054】
本変形方法は、図７に示されるように、工程（Ｓ６１）から工程（Ｓ６７）を含む。
工程（Ｓ６１）は、上述の工程（Ｓ２１）と同様である。
工程（Ｓ６２）では、ＣＰＵ１１は、推定対象項目情報を取得する。推定対象項目情報は、ＡＩモデルが推定可能な複数の肌状態項目のうち、要求される一以上の肌状態項目を示す情報である。ＣＰＵ１１は、入力装置１６を用いたユーザの入力に応じて推定対象項目情報を取得することもできるし、予め設定されている推定対象項目情報をメモリ１２から取得することもできるし、他のコンピュータからの通信を介して推定対象項目情報を取得することもできる。
工程（Ｓ６１）は、上述の工程（Ｓ２１）と同様である。
工程（Ｓ６２）では、ＣＰＵ１１は、推定対象項目情報を取得する。推定対象項目情報は、ＡＩモデルが推定可能な複数の肌状態項目のうち、要求される一以上の肌状態項目を示す情報である。ＣＰＵ１１は、入力装置１６を用いたユーザの入力に応じて推定対象項目情報を取得することもできるし、予め設定されている推定対象項目情報をメモリ１２から取得することもできるし、他のコンピュータからの通信を介して推定対象項目情報を取得することもできる。
【0055】
工程（Ｓ６３）では、ＣＰＵ１１は、工程（Ｓ６２）で取得された推定対象項目情報が示す推定対象項目に対応する座標変換ルールを選択する。このとき、推定対象項目として複数の項目が指定されている場合には、当該複数の項目に対応する一以上の座標変換ルールが選択される。
工程（Ｓ６４）は、上述の工程（Ｓ２２）と同様である。
工程（Ｓ６４）は、上述の工程（Ｓ２２）と同様である。
【0056】
工程（Ｓ６５）では、ＣＰＵ１１は、工程（Ｓ６３）で選択された座標変換ルールに基づいて工程（Ｓ６４）で特定された複数箇所の位置座標を座標変換することで元顔画像を変換して、当該元顔画像から推定対象項目に対応する変換顔画像を生成する。工程（Ｓ６５）での顔画像の変換手法については、複数の座標変換ルールから選択された座標変換ルールを用いることを除いては、上述の工程（Ｓ２３）と同様である。
但し、工程（Ｓ６３）で複数の座標変換ルールが選択されている場合には、工程（Ｓ６５）では、複数の推定対象項目の各々に対応する複数の変換顔画像が生成されることになる。図６の例では、Ｎ個の座標変換ルールに基づく座標変換後の位置座標としてＮ通り（Ｇ３－１、Ｇ３－２、・・・、Ｇ３－Ｎ）の位置座標が示されており、Ｎ個の変換顔画像（Ｇ４－１、Ｇ４－２、・・・、Ｇ４－Ｎ）が生成されている。
但し、工程（Ｓ６３）で複数の座標変換ルールが選択されている場合には、工程（Ｓ６５）では、複数の推定対象項目の各々に対応する複数の変換顔画像が生成されることになる。図６の例では、Ｎ個の座標変換ルールに基づく座標変換後の位置座標としてＮ通り（Ｇ３－１、Ｇ３－２、・・・、Ｇ３－Ｎ）の位置座標が示されており、Ｎ個の変換顔画像（Ｇ４－１、Ｇ４－２、・・・、Ｇ４－Ｎ）が生成されている。
【0057】
工程（Ｓ６６）は上述の工程（Ｓ２４）と同様であり、工程（Ｓ６７）は上述の工程（Ｓ２５）と同様である。
但し、推定対象項目として複数の項目が指定されている場合には、工程（Ｓ６７）では、対象者の顔の複数の項目に関する肌状態情報が取得される。また、工程（Ｓ６３）で複数の座標変換ルールが選択されており、工程（Ｓ６５）で複数の変換顔画像が生成されている場合には、工程（Ｓ６６）では当該複数の変換顔画像がＡＩモデルに入力され、工程（Ｓ６７）では、対象者の顔の複数の項目に関する肌状態情報が取得される。
但し、推定対象項目として複数の項目が指定されている場合には、工程（Ｓ６７）では、対象者の顔の複数の項目に関する肌状態情報が取得される。また、工程（Ｓ６３）で複数の座標変換ルールが選択されており、工程（Ｓ６５）で複数の変換顔画像が生成されている場合には、工程（Ｓ６６）では当該複数の変換顔画像がＡＩモデルに入力され、工程（Ｓ６７）では、対象者の顔の複数の項目に関する肌状態情報が取得される。
【0058】
本変形方法によれば、複数項目に関する対象者の肌状態情報を取得することができる。また、当該複数項目のうち所望の項目に関する対象者の肌状態情報を取得することができる。
更に言えば、推定対象となる肌状態項目ごとにその肌状態項目に対応する座標変換ルールを用いて変換された顔画像に基づいてＡＩモデルが推定を行うため、肌状態の推定項目ごとの推定精度をそれぞれ高めることができる。
本変形方法は更に変形可能である。例えば、本変形方法から推定対象項目情報を取得する工程（Ｓ６２）を省き、ＡＩモデルが推定可能な全ての推定項目に関する肌状態情報が取得されるように変形することもできる。
更に言えば、推定対象となる肌状態項目ごとにその肌状態項目に対応する座標変換ルールを用いて変換された顔画像に基づいてＡＩモデルが推定を行うため、肌状態の推定項目ごとの推定精度をそれぞれ高めることができる。
本変形方法は更に変形可能である。例えば、本変形方法から推定対象項目情報を取得する工程（Ｓ６２）を省き、ＡＩモデルが推定可能な全ての推定項目に関する肌状態情報が取得されるように変形することもできる。
【0059】
［他の実施形態］
本発明に係る肌状態推定システムの他の実施形態（以下、本実施形態）の構成を図８にて示す。本実施形態は、ネットワークを介して、スマートフォンなどのユーザ端末３０とサーバ装置２０とが接続されてシステムを構成している。
本実施形態では、サーバ装置２０はＡＩモデル７と情報取得手段３８を備えている。ユーザ端末３０は、画像取得手段であるカメラ３１、位置特定手段３２、変換手段３３、送信手段３４、及び表示装置である情報表示手段３５、前記情報表示手段３５に提示される肌情報を利用者が読み取り可能な画像情報に変換、生成する肌状態出力手段３６、受信手段３７を備えている。
ユーザ端末３０とサーバ装置２０とは、インターネットなどの通信回線５を介して接続され、一体となって肌状態推定システムを構成する。なお、ユーザ端末３０は複数あってよく、その場合、各ユーザ端末３０とサーバ装置２０との組み合わせが、各々肌状態推定システムを構成することとなるのは、当業者であれば容易に理解できるであろう。
本発明に係る肌状態推定システムの他の実施形態（以下、本実施形態）の構成を図８にて示す。本実施形態は、ネットワークを介して、スマートフォンなどのユーザ端末３０とサーバ装置２０とが接続されてシステムを構成している。
本実施形態では、サーバ装置２０はＡＩモデル７と情報取得手段３８を備えている。ユーザ端末３０は、画像取得手段であるカメラ３１、位置特定手段３２、変換手段３３、送信手段３４、及び表示装置である情報表示手段３５、前記情報表示手段３５に提示される肌情報を利用者が読み取り可能な画像情報に変換、生成する肌状態出力手段３６、受信手段３７を備えている。
ユーザ端末３０とサーバ装置２０とは、インターネットなどの通信回線５を介して接続され、一体となって肌状態推定システムを構成する。なお、ユーザ端末３０は複数あってよく、その場合、各ユーザ端末３０とサーバ装置２０との組み合わせが、各々肌状態推定システムを構成することとなるのは、当業者であれば容易に理解できるであろう。
【0060】
ユーザ端末３０の送信手段３４によりサーバ装置２０へ送られた変換後顔画像は、サーバ装置２０の受信手段（図示せず）で受信され、情報取得手段３８を介してＡＩモデル７に入力される。本実施形態では、ＡＩモデル７から出力され、情報取得手段３８が取得した肌状態情報が、サーバ装置２０の送信手段（図示せず）から通信回線５を介してユーザ端末３０へと送られる。ユーザ端末３０の受信手段３７で受信された肌状態情報は、肌状態出力手段３６で表示画面を構成するデータに変換され、ユーザ端末３０の表示装置３５（画面）に表示される。
【0061】
このように、ＡＩモデル７をサーバ装置２０に配することで、ユーザ端末３０上のコンピュータプログラムを変更することなく、ＡＩモデル７の置き換え或いは更新を行うことができ、精度の向上が図れ、システム全体として精度向上の頻度を上げることができる。
ユーザ端末３０には、プログラム、すなわち、ユーザ端末３０を本システムにおける位置特定手段３２、変換手段３３、送信手段３４、及び表示装置である情報表示手段３５、前記情報表示手段３５に提示される肌情報を利用者が読み取り可能な画像情報に変換、生成する肌状態出力手段３６、受信手段３７として機能させるためのプログラムが、ネットワークを形成する通信媒体を介して送られるのが好ましい。該プログラムは、記憶媒体に記憶されてユーザ端末３０の使用者に提供されてもよい。
ユーザ端末３０には、プログラム、すなわち、ユーザ端末３０を本システムにおける位置特定手段３２、変換手段３３、送信手段３４、及び表示装置である情報表示手段３５、前記情報表示手段３５に提示される肌情報を利用者が読み取り可能な画像情報に変換、生成する肌状態出力手段３６、受信手段３７として機能させるためのプログラムが、ネットワークを形成する通信媒体を介して送られるのが好ましい。該プログラムは、記憶媒体に記憶されてユーザ端末３０の使用者に提供されてもよい。
【0062】
本発明にかかる肌状態推定システムのさらに他の実施形態（以下、本実施形態）の構成を図９に示す。本実施形態は、図８に示される例と同様にネットワークを介して、スマートフォンなどのユーザ端末３０とサーバ装置２０とが接続されてシステムを構成している。
ユーザ端末３０は、画像取得手段であるカメラ３１、送信手段３４、表示装置である情報表示手段３５、肌状態出力手段３６、肌状態を受信する受信手段３７を備えている。サーバ装置２０は、ＡＩモデル７、位置特定手段３２、変換手段３３、及び情報取得手段３８を備える。
図８に例示される肌状態推定システムと同様に、ユーザ端末３０とサーバ装置２０とは、インターネットなどの通信回線５を介して接続され、一体となって肌状態推定システムを構成する。なお、ユーザ端末３０は複数あってよく、この場合も、各ユーザ端末３０とサーバ装置２０との組み合わせが、各々肌状態推定システムを構成することとなるのは、当業者であれば容易に理解できるであろう。
各ユーザ端末３０には、ユーザ端末３０を本システムにおける送信手段３４、肌状態出力手段３６、肌状態を受信する受信手段３７として機能させるためのプログラムが、ネットワークを形成する通信媒体を介して送られるのが好ましい。該プログラムは、記憶媒体に記憶されてユーザ端末３０の使用者に提供されてもよい。
ユーザ端末３０は、画像取得手段であるカメラ３１、送信手段３４、表示装置である情報表示手段３５、肌状態出力手段３６、肌状態を受信する受信手段３７を備えている。サーバ装置２０は、ＡＩモデル７、位置特定手段３２、変換手段３３、及び情報取得手段３８を備える。
図８に例示される肌状態推定システムと同様に、ユーザ端末３０とサーバ装置２０とは、インターネットなどの通信回線５を介して接続され、一体となって肌状態推定システムを構成する。なお、ユーザ端末３０は複数あってよく、この場合も、各ユーザ端末３０とサーバ装置２０との組み合わせが、各々肌状態推定システムを構成することとなるのは、当業者であれば容易に理解できるであろう。
各ユーザ端末３０には、ユーザ端末３０を本システムにおける送信手段３４、肌状態出力手段３６、肌状態を受信する受信手段３７として機能させるためのプログラムが、ネットワークを形成する通信媒体を介して送られるのが好ましい。該プログラムは、記憶媒体に記憶されてユーザ端末３０の使用者に提供されてもよい。
【0063】
ユーザ端末３０のカメラ３１で撮像された元顔画像は、送信手段３４によりサーバ装置２０へ送られ、サーバ装置２０において位置特定手段３２及び変換手段３３により処理され、その後、情報取得手段３８を介してＡＩモデル７に入力される。
本実施形態では、ＡＩモデル７から出力された肌状態情報は、サーバ装置２０の情報取得手段３８により取得され、送信手段（図示せず）により通信回線５を介してユーザ端末３０へと送られる。ユーザ端末３０の受信手段３７で受信された肌状態情報は、肌状態出力手段３６で表示画面を構成するデータに変換され、ユーザ端末３０の表示装置３５（画面）に表示される。
本実施形態では、ＡＩモデル７から出力された肌状態情報は、サーバ装置２０の情報取得手段３８により取得され、送信手段（図示せず）により通信回線５を介してユーザ端末３０へと送られる。ユーザ端末３０の受信手段３７で受信された肌状態情報は、肌状態出力手段３６で表示画面を構成するデータに変換され、ユーザ端末３０の表示装置３５（画面）に表示される。
【0064】
肌状態出力手段３６で加工・作成され、ユーザ端末３０の表示装置３５に表示される表示画面の一例を図１０に示す。この表示画面では、元顔画像が画面上方に表示され、画面中央付近に肌年齢が数字で、そして、下方に各項目ごとの値をレーダーチャートで示している。
このように、元画像と肌状態情報を示すグラフとが同一画面上に示されるように肌状態出力手段３６で情報処理を行うことで、肌状態の把握が容易な画面とすることができ、あるいは、複数の肌状態情報を一つの画面に一度に表示するために出力手段３６で情報処理を行うことで、肌状態の全体像を一度に表示することができる。
サーバ装置２０から送られてきた数値情報を、単なる数字で表示することもできるが、このように、ユーザ端末３０の肌状態出力手段３６で加工して見やすく表示することが、ユーザとのコミュニケーションツールとしては重要である。表示画面をサーバ装置２０で生成すると、異なったユーザ端末３０の場合、画面の一部が欠け、あるいは文字が読みにくくなるなどの弊害が生じるおそれがあるので、本実施形態のように、サーバ装置２０から送られてくる肌状態情報をユーザ端末３０側で表示用に変換するのが好ましい。また、本実施形態のように、肌状態の各項目はグラフに加工して表示し、総合評価は、肌年齢、あるいは例えば５段階や１００点満点基準で何点といった、数値で示すのが好ましい。
このように、元画像と肌状態情報を示すグラフとが同一画面上に示されるように肌状態出力手段３６で情報処理を行うことで、肌状態の把握が容易な画面とすることができ、あるいは、複数の肌状態情報を一つの画面に一度に表示するために出力手段３６で情報処理を行うことで、肌状態の全体像を一度に表示することができる。
サーバ装置２０から送られてきた数値情報を、単なる数字で表示することもできるが、このように、ユーザ端末３０の肌状態出力手段３６で加工して見やすく表示することが、ユーザとのコミュニケーションツールとしては重要である。表示画面をサーバ装置２０で生成すると、異なったユーザ端末３０の場合、画面の一部が欠け、あるいは文字が読みにくくなるなどの弊害が生じるおそれがあるので、本実施形態のように、サーバ装置２０から送られてくる肌状態情報をユーザ端末３０側で表示用に変換するのが好ましい。また、本実施形態のように、肌状態の各項目はグラフに加工して表示し、総合評価は、肌年齢、あるいは例えば５段階や１００点満点基準で何点といった、数値で示すのが好ましい。
【0065】
上述の実施形態及び変形例の一部又は全部は、次のようにも特定され得る。但し、上述の実施形態及び変形例が以下の記載に制限されるものではない。
【0066】
＜１＞
入力顔画像からその入力顔画像に写り込む人顔の肌状態を出力するように学習が施された推定モデルを用いた、肌状態推定方法であって、
一以上のプロセッサが、
対象者の顔画像を取得する画像取得工程と、
前記推定モデルにおける入力規則に合わせるべく前記取得された顔画像に写り込む人顔の顔領域の輪郭上の複数点が画像外縁に位置するようにその顔画像を変換して変換後顔画像を得る変換工程と、
前記変換後顔画像が前記入力顔画像として入力されることで前記推定モデルから出力される前記対象者の顔の肌状態情報を取得する情報取得工程と、
を実行する肌状態推定方法。
入力顔画像からその入力顔画像に写り込む人顔の肌状態を出力するように学習が施された推定モデルを用いた、肌状態推定方法であって、
一以上のプロセッサが、
対象者の顔画像を取得する画像取得工程と、
前記推定モデルにおける入力規則に合わせるべく前記取得された顔画像に写り込む人顔の顔領域の輪郭上の複数点が画像外縁に位置するようにその顔画像を変換して変換後顔画像を得る変換工程と、
前記変換後顔画像が前記入力顔画像として入力されることで前記推定モデルから出力される前記対象者の顔の肌状態情報を取得する情報取得工程と、
を実行する肌状態推定方法。
【0067】
＜２＞
前記変換後顔画像では、前記取得された顔画像に写り込む人顔の顔領域内の所定局所部位領域が除かれており又は縮小されており、
前記変換工程では、前記顔領域内において前記所定局所部位領域を取り囲む複数の外周点のうち前記所定局所部位領域を介して相互に対向する外周点の位置を一致させて、前記顔領域内の前記所定局所部位領域を除く又は縮小する、
＜１＞に記載の肌状態推定方法。
＜３＞
前記所定局所部位領域は、目領域、眉毛領域及び唇領域を含む、
＜２＞に記載の肌状態推定方法。
＜４＞
前記一以上のプロセッサが、
前記取得された顔画像に写り込む前記人顔の顔領域における所定の複数箇所の位置座標を特定する位置特定工程を更に実行し、
前記変換工程では、前記特定された所定の複数箇所の位置座標の一部又は全部を座標変換して前記推定モデルの前記入力規則に合うように、前記取得された顔画像を変換する、
＜２＞又は＜３＞に記載の肌状態推定方法。
＜５＞
前記入力顔画像は所定矩形形状を有しており、
前記所定の複数箇所の位置座標は、前記顔領域の輪郭上の複数点、前記顔領域の鼻頂点及び前記顔領域の他の複数点の位置座標を更に含み、
前記変換工程では、前記顔領域の輪郭上の前記複数点に含まれる４つの第一輪郭点の各々が前記所定矩形形状の頂点にそれぞれ配置され、前記鼻頂点が前記所定矩形形状の中心に配置され、前記顔領域の輪郭上の他の点が前記所定矩形形状の辺上に配置され、前記顔領域の輪郭上の前記複数点及び前記鼻頂点の移動に対応して前記顔領域の前記他の複数点が移動するように、前記座標変換を行う、
＜４＞に記載の肌状態推定方法。
＜６＞
前記顔領域の前記他の複数点は、前記所定局所部位領域よりも前記顔領域の輪郭の近くに位置する４つの第三輪郭点及び該４つの第三輪郭点よりも更に前記顔領域の輪郭の近くに位置する４つの第二輪郭点を含み、
前記変換工程では、前記４つの第二輪郭点及び前記４つの第三輪郭点が前記４つの第一輪郭点と前記鼻頂点とを結ぶ対角線上にそれぞれ配置され、かつ前記第一輪郭点の前記鼻頂点からの距離と前記第二輪郭点の前記鼻頂点からの距離との差が、前記第二輪郭点の前記鼻頂点からの距離と前記第三輪郭点の前記鼻頂点からの距離との差よりも小さくなるように前記座標変換を行う、
＜５＞に記載の肌状態推定方法。
＜７＞
前記推定モデルは、肌状態の複数項目を推定可能であり、
前記推定モデルの前記入力規則は複数設けられており、
前記変換工程では、前記複数項目に対応する相互に異なる複数の前記入力規則の中の推定対象項目に対応する入力規則に対応するように前記取得された顔画像を変換することで、推定対象項目に対応する変換後顔画像を取得し、
前記情報取得工程では、前記変換後顔画像を前記推定モデルに入力して前記推定対象項目に関する前記対象者の肌状態情報を取得する、
＜１＞から＜６＞のいずれか一つに記載の肌状態推定方法。
＜８＞
入力顔画像からその入力顔画像に写り込む人顔の肌状態を出力するように学習が施された推定モデルと、
対象者の顔画像を取得する画像取得手段と、
前記推定モデルにおける入力規則に合わせるべく前記取得された顔画像に写り込む人顔の顔領域の輪郭上の複数点が画像外縁に位置するようにその顔画像を変換して変換後顔画像を得る変換手段と、
前記変換後顔画像を前記入力顔画像として前記推定モデルへ入力し、前記推定モデルから出力される前記対象者の顔の肌状態情報を取得する情報取得手段と、
前記取得された肌状態情報を提示するための画像情報を生成する肌状態出力手段と、
前記画像情報を表示する情報表示手段と、
を備える肌状態推定システム。
＜９＞
前記変換後顔画像では、前記取得された顔画像に写り込む人顔の顔領域内の所定局所部位領域が除かれており又は縮小されており、
前記変換手段は、前記顔領域内において前記所定局所部位領域を取り囲む複数の外周点のうち前記所定局所部位領域を介して相互に対向する外周点の位置を一致させて、前記顔領域内の前記所定局所部位領域を除く又は縮小する、
＜８＞に記載の肌状態推定システム。
＜１０＞
前記所定局所部位領域は、目領域、眉毛領域及び唇領域を含む、
＜９＞に記載の肌状態推定システム。
＜１１＞
前記取得された顔画像に写り込む前記人顔の顔領域における所定の複数箇所の位置座標を特定する位置特定手段を更に備え、
前記変換手段は、前記特定された所定の複数箇所の位置座標の一部又は全部を座標変換して前記推定モデルの前記入力規則に合うように、前記取得された顔画像を変換する、
＜９＞又は＜１０＞に記載の肌状態推定システム。
＜１２＞
前記入力顔画像は所定矩形形状を有しており、
前記所定の複数箇所の位置座標は、前記顔領域の輪郭上の複数点、前記顔領域の鼻頂点及び前記顔領域の他の複数点の位置座標を更に含み、
前記変換手段は、前記顔領域の輪郭上の前記複数点に含まれる４つの第一輪郭点の各々が前記所定矩形形状の頂点にそれぞれ配置され、前記鼻頂点が前記所定矩形形状の中心に配置され、前記顔領域の輪郭上の他の点が前記所定矩形形状の辺上に配置され、前記顔領域の輪郭上の前記複数点及び前記鼻頂点の移動に対応して前記顔領域の前記他の複数点が移動するように、前記座標変換を行う、
＜１１＞に記載の肌状態推定システム。
＜１３＞
前記顔領域の前記他の複数点は、前記所定局所部位領域よりも前記顔領域の輪郭の近くに位置する４つの第三輪郭点及び該４つの第三輪郭点よりも更に前記顔領域の輪郭の近くに位置する４つの第二輪郭点を含み、
前記変換手段は、前記４つの第二輪郭点及び前記４つの第三輪郭点が前記４つの第一輪郭点と前記鼻頂点とを結ぶ対角線上にそれぞれ配置され、かつ前記第一輪郭点の前記鼻頂点からの距離と前記第二輪郭点の前記鼻頂点からの距離との差が、前記第二輪郭点の前記鼻頂点からの距離と前記第三輪郭点の前記鼻頂点からの距離との差よりも小さくなるように前記座標変換を行う、
＜１２＞に記載の肌状態推定システム。
＜１４＞
前記推定モデルは、肌状態の複数項目を推定可能であり、
前記推定モデルの前記入力規則は複数設けられており、
前記変換手段は、前記複数項目に対応する相互に異なる複数の前記入力規則の中の推定対象項目に対応する入力規則に対応するように前記取得された顔画像を変換することで、推定対象項目に対応する変換後顔画像を取得し、
前記情報取得手段は、前記変換後顔画像を前記推定モデルに入力して前記推定対象項目に関する前記対象者の肌状態情報を取得する、
＜８＞から＜１３＞のいずれか一つに記載の肌状態推定システム。
＜１５＞
前記肌状態推定システムは、ユーザ端末を備え、
前記ユーザ端末は、前記画像取得手段、前記肌状態出力手段及び前記情報表示手段を少なくとも含む、
＜８＞から＜１４＞のいずれか一つに記載の肌状態推定システム。
＜１６＞
前記肌状態推定システムは、ユーザ端末を備え、
前記ユーザ端末は、前記画像取得手段、前記肌状態出力手段、前記情報表示手段及び前記位置特定手段を少なくとも含む、
＜１１＞から＜１３＞のいずれか一つに記載の肌状態推定システム。
＜１７＞
＜８＞から＜１４＞のいずれか一つに記載の肌状態推定システム用のユーザ端末であって、
前記画像取得手段、前記肌状態出力手段及び前記情報表示手段を少なくとも備える、
肌状態推定システム用ユーザ端末。
＜１８＞
＜１１＞から＜１３＞のいずれか一つに記載の肌状態推定システム用のユーザ端末であって、
前記画像取得手段、前記肌状態出力手段、前記情報表示手段及び前記位置特定手段を備える、
肌状態推定システム用ユーザ端末。
＜１９＞
前記変換手段を更に備える、
＜１７＞又は＜１８＞に記載の肌状態推定システム用ユーザ端末。
前記変換後顔画像では、前記取得された顔画像に写り込む人顔の顔領域内の所定局所部位領域が除かれており又は縮小されており、
前記変換工程では、前記顔領域内において前記所定局所部位領域を取り囲む複数の外周点のうち前記所定局所部位領域を介して相互に対向する外周点の位置を一致させて、前記顔領域内の前記所定局所部位領域を除く又は縮小する、
＜１＞に記載の肌状態推定方法。
＜３＞
前記所定局所部位領域は、目領域、眉毛領域及び唇領域を含む、
＜２＞に記載の肌状態推定方法。
＜４＞
前記一以上のプロセッサが、
前記取得された顔画像に写り込む前記人顔の顔領域における所定の複数箇所の位置座標を特定する位置特定工程を更に実行し、
前記変換工程では、前記特定された所定の複数箇所の位置座標の一部又は全部を座標変換して前記推定モデルの前記入力規則に合うように、前記取得された顔画像を変換する、
＜２＞又は＜３＞に記載の肌状態推定方法。
＜５＞
前記入力顔画像は所定矩形形状を有しており、
前記所定の複数箇所の位置座標は、前記顔領域の輪郭上の複数点、前記顔領域の鼻頂点及び前記顔領域の他の複数点の位置座標を更に含み、
前記変換工程では、前記顔領域の輪郭上の前記複数点に含まれる４つの第一輪郭点の各々が前記所定矩形形状の頂点にそれぞれ配置され、前記鼻頂点が前記所定矩形形状の中心に配置され、前記顔領域の輪郭上の他の点が前記所定矩形形状の辺上に配置され、前記顔領域の輪郭上の前記複数点及び前記鼻頂点の移動に対応して前記顔領域の前記他の複数点が移動するように、前記座標変換を行う、
＜４＞に記載の肌状態推定方法。
＜６＞
前記顔領域の前記他の複数点は、前記所定局所部位領域よりも前記顔領域の輪郭の近くに位置する４つの第三輪郭点及び該４つの第三輪郭点よりも更に前記顔領域の輪郭の近くに位置する４つの第二輪郭点を含み、
前記変換工程では、前記４つの第二輪郭点及び前記４つの第三輪郭点が前記４つの第一輪郭点と前記鼻頂点とを結ぶ対角線上にそれぞれ配置され、かつ前記第一輪郭点の前記鼻頂点からの距離と前記第二輪郭点の前記鼻頂点からの距離との差が、前記第二輪郭点の前記鼻頂点からの距離と前記第三輪郭点の前記鼻頂点からの距離との差よりも小さくなるように前記座標変換を行う、
＜５＞に記載の肌状態推定方法。
＜７＞
前記推定モデルは、肌状態の複数項目を推定可能であり、
前記推定モデルの前記入力規則は複数設けられており、
前記変換工程では、前記複数項目に対応する相互に異なる複数の前記入力規則の中の推定対象項目に対応する入力規則に対応するように前記取得された顔画像を変換することで、推定対象項目に対応する変換後顔画像を取得し、
前記情報取得工程では、前記変換後顔画像を前記推定モデルに入力して前記推定対象項目に関する前記対象者の肌状態情報を取得する、
＜１＞から＜６＞のいずれか一つに記載の肌状態推定方法。
＜８＞
入力顔画像からその入力顔画像に写り込む人顔の肌状態を出力するように学習が施された推定モデルと、
対象者の顔画像を取得する画像取得手段と、
前記推定モデルにおける入力規則に合わせるべく前記取得された顔画像に写り込む人顔の顔領域の輪郭上の複数点が画像外縁に位置するようにその顔画像を変換して変換後顔画像を得る変換手段と、
前記変換後顔画像を前記入力顔画像として前記推定モデルへ入力し、前記推定モデルから出力される前記対象者の顔の肌状態情報を取得する情報取得手段と、
前記取得された肌状態情報を提示するための画像情報を生成する肌状態出力手段と、
前記画像情報を表示する情報表示手段と、
を備える肌状態推定システム。
＜９＞
前記変換後顔画像では、前記取得された顔画像に写り込む人顔の顔領域内の所定局所部位領域が除かれており又は縮小されており、
前記変換手段は、前記顔領域内において前記所定局所部位領域を取り囲む複数の外周点のうち前記所定局所部位領域を介して相互に対向する外周点の位置を一致させて、前記顔領域内の前記所定局所部位領域を除く又は縮小する、
＜８＞に記載の肌状態推定システム。
＜１０＞
前記所定局所部位領域は、目領域、眉毛領域及び唇領域を含む、
＜９＞に記載の肌状態推定システム。
＜１１＞
前記取得された顔画像に写り込む前記人顔の顔領域における所定の複数箇所の位置座標を特定する位置特定手段を更に備え、
前記変換手段は、前記特定された所定の複数箇所の位置座標の一部又は全部を座標変換して前記推定モデルの前記入力規則に合うように、前記取得された顔画像を変換する、
＜９＞又は＜１０＞に記載の肌状態推定システム。
＜１２＞
前記入力顔画像は所定矩形形状を有しており、
前記所定の複数箇所の位置座標は、前記顔領域の輪郭上の複数点、前記顔領域の鼻頂点及び前記顔領域の他の複数点の位置座標を更に含み、
前記変換手段は、前記顔領域の輪郭上の前記複数点に含まれる４つの第一輪郭点の各々が前記所定矩形形状の頂点にそれぞれ配置され、前記鼻頂点が前記所定矩形形状の中心に配置され、前記顔領域の輪郭上の他の点が前記所定矩形形状の辺上に配置され、前記顔領域の輪郭上の前記複数点及び前記鼻頂点の移動に対応して前記顔領域の前記他の複数点が移動するように、前記座標変換を行う、
＜１１＞に記載の肌状態推定システム。
＜１３＞
前記顔領域の前記他の複数点は、前記所定局所部位領域よりも前記顔領域の輪郭の近くに位置する４つの第三輪郭点及び該４つの第三輪郭点よりも更に前記顔領域の輪郭の近くに位置する４つの第二輪郭点を含み、
前記変換手段は、前記４つの第二輪郭点及び前記４つの第三輪郭点が前記４つの第一輪郭点と前記鼻頂点とを結ぶ対角線上にそれぞれ配置され、かつ前記第一輪郭点の前記鼻頂点からの距離と前記第二輪郭点の前記鼻頂点からの距離との差が、前記第二輪郭点の前記鼻頂点からの距離と前記第三輪郭点の前記鼻頂点からの距離との差よりも小さくなるように前記座標変換を行う、
＜１２＞に記載の肌状態推定システム。
＜１４＞
前記推定モデルは、肌状態の複数項目を推定可能であり、
前記推定モデルの前記入力規則は複数設けられており、
前記変換手段は、前記複数項目に対応する相互に異なる複数の前記入力規則の中の推定対象項目に対応する入力規則に対応するように前記取得された顔画像を変換することで、推定対象項目に対応する変換後顔画像を取得し、
前記情報取得手段は、前記変換後顔画像を前記推定モデルに入力して前記推定対象項目に関する前記対象者の肌状態情報を取得する、
＜８＞から＜１３＞のいずれか一つに記載の肌状態推定システム。
＜１５＞
前記肌状態推定システムは、ユーザ端末を備え、
前記ユーザ端末は、前記画像取得手段、前記肌状態出力手段及び前記情報表示手段を少なくとも含む、
＜８＞から＜１４＞のいずれか一つに記載の肌状態推定システム。
＜１６＞
前記肌状態推定システムは、ユーザ端末を備え、
前記ユーザ端末は、前記画像取得手段、前記肌状態出力手段、前記情報表示手段及び前記位置特定手段を少なくとも含む、
＜１１＞から＜１３＞のいずれか一つに記載の肌状態推定システム。
＜１７＞
＜８＞から＜１４＞のいずれか一つに記載の肌状態推定システム用のユーザ端末であって、
前記画像取得手段、前記肌状態出力手段及び前記情報表示手段を少なくとも備える、
肌状態推定システム用ユーザ端末。
＜１８＞
＜１１＞から＜１３＞のいずれか一つに記載の肌状態推定システム用のユーザ端末であって、
前記画像取得手段、前記肌状態出力手段、前記情報表示手段及び前記位置特定手段を備える、
肌状態推定システム用ユーザ端末。
＜１９＞
前記変換手段を更に備える、
＜１７＞又は＜１８＞に記載の肌状態推定システム用ユーザ端末。
【0068】
以下に実施例を挙げ、上述の内容を更に詳細に説明する。但し、以下の実施例の記載は、上述の内容に何ら限定を加えるものではない。
【実施例】
【0069】
本実施例では、３５３名の日本人女性を複数種の撮影デバイスを用いて複数の撮影環境で撮影して得られた２２０７枚の顔画像（以降、顔画像サンプルと表記する）が準備され、この顔画像サンプルを用いて上述の本実施形態に係る肌状態推定方法（本方法）の精度が検証された。複数種の撮影デバイスには、一眼レフデジタルカメラ、スマートフォン、タブレット端末が含まれる。
【0070】
本方法の精度の検証は、顔画像に写り込む人顔の肌状態を推定する既存の一般的な手法（以降、従来手法と表記する）と、上述の特許文献１に記載される手法（先行特許手法と表記）との精度の比較により行われた。具体的には、本方法、従来手法及び先行特許手法の各々に関してＡＩモデルがそれぞれ構築及び学習され、各々のＡＩモデルにより推定される肌状態の精度が比較された。
【0071】
各ＡＩモデルは、ＩｍａｇｅＮｅｔ用の畳み込みニューラルネットワーク（ＣＮＮ）の学習済みモデルをベースにしてＶＧＧ１６のファインチューニングを行うことにより構築された。各ＡＩモデルの学習条件は、教師データとして用いる顔画像のみが異なり、その他の条件は同一とされた。学習手法としては、学習率（ｌｒ）０．００１から０．０００１まで２０エポックを１周期とするＣｏｓｉｎｅ Ａｎｎｅａｌｉｎｇが利用され、総学習数１０００エポックとされた。また、Ｌｏｓｓ関数には平均二乗誤差（Mean Squared Error）が用いられ、最適化アルゴリズムとして確率的勾配降下法（SGD（Stochastic Gradient Descent）法）が用いられた。
【0072】
各ＡＩモデルは、１８項目の肌状態を推定可能となるように、４個のＣＮＮでそれぞれ形成された。
肌状態の推定項目は、化粧感、肌年齢、男性・女性肌らしさ、化粧くずれ度、パウダリー、グロッシー、濡れ感、総合評価、うるおい感、乾燥感、なめらかさ、キメの整い、つや、ハリ、透明感、肌の白さ、黄み、及びくすみである。
１個のＣＮＮが出力する推定項目は、推定項目間の共線性や、組み合わせて学習させた場合の学習効率を参考に決定された。具体的には、キメの整い、なめらかさ、透明感のように相互に連動性或いは共線性が高いと推測される項目の組合せが一つのＣＮＮで出力されるようＡＩモデルを形成し、そのＡＩモデルの学習を行うことで推定精度が高くなる項目間の組合せを探索していき、結果的に、４個のＣＮＮが１８項目の肌状態を推定するＡＩモデルが構築された。
各ＡＩモデルの教師データの正解情報は、被写体の顔の肌状態を専門評価者が目視評価することによって、或いは専用の皮膚画像計測装置で撮影された被写体の顔画像に対して特定の解析手法を適用することによって取得された。
肌状態の推定項目は、化粧感、肌年齢、男性・女性肌らしさ、化粧くずれ度、パウダリー、グロッシー、濡れ感、総合評価、うるおい感、乾燥感、なめらかさ、キメの整い、つや、ハリ、透明感、肌の白さ、黄み、及びくすみである。
１個のＣＮＮが出力する推定項目は、推定項目間の共線性や、組み合わせて学習させた場合の学習効率を参考に決定された。具体的には、キメの整い、なめらかさ、透明感のように相互に連動性或いは共線性が高いと推測される項目の組合せが一つのＣＮＮで出力されるようＡＩモデルを形成し、そのＡＩモデルの学習を行うことで推定精度が高くなる項目間の組合せを探索していき、結果的に、４個のＣＮＮが１８項目の肌状態を推定するＡＩモデルが構築された。
各ＡＩモデルの教師データの正解情報は、被写体の顔の肌状態を専門評価者が目視評価することによって、或いは専用の皮膚画像計測装置で撮影された被写体の顔画像に対して特定の解析手法を適用することによって取得された。
【0073】
顔画像サンプルに含まれる各元顔画像が本方法、従来手法及び先行特許手法の各手法でそれぞれ変換された。即ち、本方法で変換された２２０７枚の顔画像群、従来手法で変換された２２０７枚の顔画像群及び先行特許手法で変換された２２０７枚の顔画像群が準備された。
各手法のために準備された各顔画像群が学習用、検証用及びテスト用としてそれぞれ５対３対２に分けられ、学習用の５割の顔画像群がＡＩモデルの教師データとされ、検証用の３割の顔画像群が学習済みＡＩモデルの選択に利用され、テスト用の２割の顔画像群を用いて各ＡＩモデルの推定精度が評価された。また、学習用の顔画像群は、各顔画像に対して最大±５度のランダム回転処理を行うことで１０倍にされた。
各ＡＩモデルでは、入力画像の画像サイズが２２４ピクセル（上述の所定画像サイズ）に規定されており、入力画像の形状が正方形（上述の所定矩形形状）に規定された。
各手法のために準備された各顔画像群が学習用、検証用及びテスト用としてそれぞれ５対３対２に分けられ、学習用の５割の顔画像群がＡＩモデルの教師データとされ、検証用の３割の顔画像群が学習済みＡＩモデルの選択に利用され、テスト用の２割の顔画像群を用いて各ＡＩモデルの推定精度が評価された。また、学習用の顔画像群は、各顔画像に対して最大±５度のランダム回転処理を行うことで１０倍にされた。
各ＡＩモデルでは、入力画像の画像サイズが２２４ピクセル（上述の所定画像サイズ）に規定されており、入力画像の形状が正方形（上述の所定矩形形状）に規定された。
【0074】
各手法で用いられる顔画像の変換手法は次のとおりである。
従来手法では、顔画像サンプルの元顔画像が画像サイズ及び形状につき正規化されており顔認識により顔が所定の位置にくるように位置合わせのみがなされた顔画像（画像サイズ２２４ピクセル、画像形状が正方形）が用いられ、先行特許手法では、従来手法の正規化及び顔認識による顔の位置合わせに加えて、当該元顔画像に対して顔領域以外の領域（背景や毛髪）並びに目、眉毛及び唇の各領域を肌色に塗り潰す処理が行われた。
従来手法では、顔画像サンプルの元顔画像が画像サイズ及び形状につき正規化されており顔認識により顔が所定の位置にくるように位置合わせのみがなされた顔画像（画像サイズ２２４ピクセル、画像形状が正方形）が用いられ、先行特許手法では、従来手法の正規化及び顔認識による顔の位置合わせに加えて、当該元顔画像に対して顔領域以外の領域（背景や毛髪）並びに目、眉毛及び唇の各領域を肌色に塗り潰す処理が行われた。
【0075】
【0076】
位置特定工程（Ｓ２２）では、Ｇｏｏｇｌｅ（登録商標）のＦａｃｅＭｅｓｈが利用され、元顔画像における顔領域の４６８個のランドマークの位置座標が特定された。図１１の例では、符号Ｅ２内において、各ランドマークの点が線分で繋がれて形成されたメッシュが示されている。
【0077】
検出されたランドマークには、顔の輪郭を示す点、鼻の頂点、目、眉及び唇の輪郭を示す点等が含まれており、顔の輪郭上における左右の眉尻に隣接する２つの点が符号Ｅ２１及びＥ２４で示され、顔の輪郭上における左右の口角に隣接する２つの点が符号Ｅ２２及びＥ２３で示され、鼻頂点が符号Ｅ２５で示されている。符号Ｅ２１からＥ２４で示されるランドマークは上述の第一輪郭点に相当する。
また、第一輪郭点（Ｅ２１からＥ２４）の内側に隣接する４つの点が符号Ｅ２１１、Ｅ２２１、Ｅ２３１及びＥ２４１で示されており、これらは第二輪郭点と表記される。
これら第二輪郭点Ｅ２１１、Ｅ２２１、Ｅ２３１及びＥ２４１の更に内側に隣接する４つの点が符号Ｅ２１２、Ｅ２２２、Ｅ２３２及びＥ２４２で示されており、これらは第三輪郭点と表記される。
また、第一輪郭点（Ｅ２１からＥ２４）の内側に隣接する４つの点が符号Ｅ２１１、Ｅ２２１、Ｅ２３１及びＥ２４１で示されており、これらは第二輪郭点と表記される。
これら第二輪郭点Ｅ２１１、Ｅ２２１、Ｅ２３１及びＥ２４１の更に内側に隣接する４つの点が符号Ｅ２１２、Ｅ２２２、Ｅ２３２及びＥ２４２で示されており、これらは第三輪郭点と表記される。
【0078】
変換工程（Ｓ２３）では、工程（Ｓ２２）で特定されたランドマークの位置座標が図１１の符号Ｅ３で示されるように座標変換されている。
具体的には、４つの第一輪郭点Ｅ２１、Ｅ２２、Ｅ２３及びＥ２４がそれぞれ変換後の顔画像における正方形の頂点にそれぞれ配置され、鼻頂点Ｅ２５が当該変換後の顔画像の中心に配置され、顔の輪郭上の他の点が当該変換後の顔画像の辺上に配置されている。
更に、４つの第二輪郭点Ｅ２１１、Ｅ２２１、Ｅ２３１及びＥ２４１、並びに４つの第三輪郭点Ｅ２１２、Ｅ２２２、Ｅ２３２及びＥ２４２が、４つの第一輪郭点Ｅ２１、Ｅ２２、Ｅ２３及びＥ２４と鼻頂点Ｅ２５とを結ぶ対角線上にそれぞれ配置され、かつ、第一輪郭点の鼻頂点からの距離と第二輪郭点の鼻頂点からの距離との差が、第二輪郭点の鼻頂点からの距離と第三輪郭点の鼻頂点からの距離との差よりも小さくなるように配置されている。
なお、他のランドマークについては、顔領域の輪郭上の点及び鼻頂点の移動に合わせて、相互の位置関係を可能な限り維持しながら、それぞれ線形的に移動させている。
具体的には、４つの第一輪郭点Ｅ２１、Ｅ２２、Ｅ２３及びＥ２４がそれぞれ変換後の顔画像における正方形の頂点にそれぞれ配置され、鼻頂点Ｅ２５が当該変換後の顔画像の中心に配置され、顔の輪郭上の他の点が当該変換後の顔画像の辺上に配置されている。
更に、４つの第二輪郭点Ｅ２１１、Ｅ２２１、Ｅ２３１及びＥ２４１、並びに４つの第三輪郭点Ｅ２１２、Ｅ２２２、Ｅ２３２及びＥ２４２が、４つの第一輪郭点Ｅ２１、Ｅ２２、Ｅ２３及びＥ２４と鼻頂点Ｅ２５とを結ぶ対角線上にそれぞれ配置され、かつ、第一輪郭点の鼻頂点からの距離と第二輪郭点の鼻頂点からの距離との差が、第二輪郭点の鼻頂点からの距離と第三輪郭点の鼻頂点からの距離との差よりも小さくなるように配置されている。
なお、他のランドマークについては、顔領域の輪郭上の点及び鼻頂点の移動に合わせて、相互の位置関係を可能な限り維持しながら、それぞれ線形的に移動させている。
【0079】
本実施例では、このような座標変換により、図１１の符号Ｅ４で示されるように、変換後の正方形状の顔画像において顔領域が全体を占めるように、元顔画像が変換される。
更に、第二及び第三輪郭点の座標変換により変換後の顔画像において顔の輪郭に近いほど領域を拡大せず顔の中心に近いほど領域を拡大するように、元顔画像が変換される。
これにより、人顔の肌状態の提示度が高い領域を中心にして顔領域が拡大されることになるため、顔画像の正規化にあたり画像サイズを圧縮する場合であっても肌状態の提示度が高い領域の解像度が低下するのを十分に抑え、ＡＩモデルの推定精度を高めることができる。
更に、第二及び第三輪郭点の座標変換により変換後の顔画像において顔の輪郭に近いほど領域を拡大せず顔の中心に近いほど領域を拡大するように、元顔画像が変換される。
これにより、人顔の肌状態の提示度が高い領域を中心にして顔領域が拡大されることになるため、顔画像の正規化にあたり画像サイズを圧縮する場合であっても肌状態の提示度が高い領域の解像度が低下するのを十分に抑え、ＡＩモデルの推定精度を高めることができる。
【0080】
図１１の例では、顔領域の中でも頬領域が、メッシュ形状（三角形上）を可能な限り維持しつつ、より大きく拡大されている。これは、頬領域が人顔の肌状態の提示度が高いからである。
また、図１１の符号Ｅ４で示される変換後の顔画像において、正方形の左右及び上の縁に顔領域とは思われない黒色の領域が存在しているのは、工程（Ｓ２２）で特定されたランドマークの位置座標が顔画像内の顔領域の輪郭よりも僅かに外側で特定されているからである。本発明は、このように、顔領域の位置座標の特定や変換後の顔画像内の顔領域の配置に関する僅かなズレを許容しつつも、上述のような効果を奏することができる。
また、図１１の符号Ｅ４で示される変換後の顔画像において、正方形の左右及び上の縁に顔領域とは思われない黒色の領域が存在しているのは、工程（Ｓ２２）で特定されたランドマークの位置座標が顔画像内の顔領域の輪郭よりも僅かに外側で特定されているからである。本発明は、このように、顔領域の位置座標の特定や変換後の顔画像内の顔領域の配置に関する僅かなズレを許容しつつも、上述のような効果を奏することができる。
【0081】
更に、変換後の顔画像では、図１１の符号Ｅ４で示されるように、目領域、眉毛領域及び唇領域が潰されている。本実施例では、唇領域の輪郭上のランドマークのうち、相互に上下に対向する位置に存在する、上唇領域の上方輪郭上の各点と下唇領域の下方輪郭上の各点をそれぞれ同一の位置座標に座標変換することで、変換後の顔画像の唇領域を潰している。また、眉毛領域の輪郭上のランドマークのうち、相互に上下に対向する位置に存在する、眉毛領域の上方輪郭上の各点と眉毛領域の下方輪郭上の各点をそれぞれ同一の位置座標に座標変換することで、変換後の顔画像の眉毛領域を潰している。
一方で、目領域については、目領域の輪郭上の点よりも一つ外側で目領域を取り囲む外周のランドマーク（以降、目領域外周点と表記される）が利用されている。即ち、相互に上下に対向する位置に存在する、上瞼の目領域外周点と下瞼の目領域外周点とをそれぞれ同一の位置座標に座標変換することで、変換後の顔画像の目領域を潰している。
一方で、目領域については、目領域の輪郭上の点よりも一つ外側で目領域を取り囲む外周のランドマーク（以降、目領域外周点と表記される）が利用されている。即ち、相互に上下に対向する位置に存在する、上瞼の目領域外周点と下瞼の目領域外周点とをそれぞれ同一の位置座標に座標変換することで、変換後の顔画像の目領域を潰している。
【0082】
このようにして、ＡＩモデルへの入力顔画像及び教師データの顔画像から人顔の肌状態とは無関係な領域、眉毛領域及び唇領域を排除しつつ、その顔画像内で肌領域を拡大させることができる。結果、ＡＩモデルへの入力にあたり顔領域の解像度の低下を防ぐことができ、ひいては、ＡＩモデルの推定精度を向上させることができる。
【0083】
図１２は、本実施形態に係る肌状態推定方法（本方法）と従来手法と先行特許手法（国際公開第２０１８／２２２８０８号公報）とについて専門家の官能評価を基準に予測誤差の違いを示すグラフである。図１２には平均二乗誤差が示されている。
この比較には、顔画像と、その画像に紐づく印象評価項目からなるデータセットを使用した。顔画像は、所定の撮影環境で撮影された画像や、被写体本人が自身のスマートフォンを用いて任意の環境で撮影した画像など、複数の撮影条件の画像が含まれる、計２２０７枚を使用した。それらすべての画像について、熟練した専門評価者による目視評価、またはその目視評価値を予測できるよう事前学習済みの機械学習モデルおよび測定装置を用い、画像に対応する印象評価スコアを紐づけた。従来手法、先行特許手法、本手法の３つの手法について、印象評価項目の予測誤差が専門家による官能評価に対して最小となるようにＡＩモデルの学習を行い、印象評価スコアと予測値の平均二乗誤差を算出した。
図１２によれば、本方法が最も小さい誤差を示しており、次いで先行特許手法の誤差が小さく、従来手法の誤差が最も大きくなっている。
この比較には、顔画像と、その画像に紐づく印象評価項目からなるデータセットを使用した。顔画像は、所定の撮影環境で撮影された画像や、被写体本人が自身のスマートフォンを用いて任意の環境で撮影した画像など、複数の撮影条件の画像が含まれる、計２２０７枚を使用した。それらすべての画像について、熟練した専門評価者による目視評価、またはその目視評価値を予測できるよう事前学習済みの機械学習モデルおよび測定装置を用い、画像に対応する印象評価スコアを紐づけた。従来手法、先行特許手法、本手法の３つの手法について、印象評価項目の予測誤差が専門家による官能評価に対して最小となるようにＡＩモデルの学習を行い、印象評価スコアと予測値の平均二乗誤差を算出した。
図１２によれば、本方法が最も小さい誤差を示しており、次いで先行特許手法の誤差が小さく、従来手法の誤差が最も大きくなっている。
【0084】
表１には、ハリ、つや、肌表面のなめらかさ、肌の色、肌の黄み、くすみ、の各項目について、従来手法、先行特許手法、本手法の３つの手法によって平均二乗誤差がどの程度異なるかを、従来手法での平均二乗誤差を１００％として比較した結果を示す。なかでも、つや、肌表面のなめらかさ、肌の色、肌の黄み、の各項目が好ましい結果であった。
【表1】
【0085】
従って、本実施例によれば、本方法により変換された顔画像を用いることでＡＩモデルによる肌状態の推定精度を向上させ得ることが実証された。
【0086】
また、本実施例では、図１１に例示される座標変換ルールとは異なる座標変換ルールを用いて上述の顔画像サンプルの元顔画像を変換した場合についても検討した。
図１３は、目尻のシワをより詳細に推定するために目尻の周囲、Ｅ２１２及びＥ２４２のすぐ内側の数メッシュを他の部位よりも拡大する、言い換えると拡大率を大きくする座標変換ルールを用いた顔画像変換の例を示す図であり、図１４は、ほうれい線の状態をより詳細に推定するためにほうれい線の周囲、具体的にはＥ２５より下方の部位を他の部位よりも拡大する、言い換えると拡大率を大きくする座標変換ルールを用いた顔画像変換の例を示す図である。
このような座標変換ルールを用いて変換された顔画像Ｅ４１及びＥ４２を用いたとしても、上述の実施例の場合と同様に、人顔の肌状態を推定可能である。
なお、顔画像Ｅ４１及びＥ４２を用いた場合には、目尻のシワ領域或いはほうれい線領域が拡大されるため、その領域において提示される肌状態として、例えばほうれい線や目じりのシワの目立ち具合がより的確に評価可能である。
図１３は、目尻のシワをより詳細に推定するために目尻の周囲、Ｅ２１２及びＥ２４２のすぐ内側の数メッシュを他の部位よりも拡大する、言い換えると拡大率を大きくする座標変換ルールを用いた顔画像変換の例を示す図であり、図１４は、ほうれい線の状態をより詳細に推定するためにほうれい線の周囲、具体的にはＥ２５より下方の部位を他の部位よりも拡大する、言い換えると拡大率を大きくする座標変換ルールを用いた顔画像変換の例を示す図である。
このような座標変換ルールを用いて変換された顔画像Ｅ４１及びＥ４２を用いたとしても、上述の実施例の場合と同様に、人顔の肌状態を推定可能である。
なお、顔画像Ｅ４１及びＥ４２を用いた場合には、目尻のシワ領域或いはほうれい線領域が拡大されるため、その領域において提示される肌状態として、例えばほうれい線や目じりのシワの目立ち具合がより的確に評価可能である。
【符号の説明】
【0087】
５ 通信回線
７ ＡＩモデル
１０ 情報処理装置（肌状態推定装置）（肌状態推定モデル学習装置）
１１ ＣＰＵ
１２ メモリ
１３ 入出力Ｉ／Ｆ
１４ 通信ユニット
１５ 表示装置
１６ 入力装置
２０ サーバ装置
３０ ユーザ端末
３１ 画像取得手段（カメラ）
３２ 位置特定手段
３３ 変換手段
３４ 情報取得手段
３５ 情報表示手段（表示装置）
７ ＡＩモデル
１０ 情報処理装置（肌状態推定装置）（肌状態推定モデル学習装置）
１１ ＣＰＵ
１２ メモリ
１３ 入出力Ｉ／Ｆ
１４ 通信ユニット
１５ 表示装置
１６ 入力装置
２０ サーバ装置
３０ ユーザ端末
３１ 画像取得手段（カメラ）
３２ 位置特定手段
３３ 変換手段
３４ 情報取得手段
３５ 情報表示手段（表示装置）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】