知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-27
(45)【発行日】2024-06-04
(54)【発明の名称】顔経時変化予測方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240528BHJP
G06T 1/00 20060101ALI20240528BHJP
【ＦＩ】
G06T7/00 660A
G06T7/00 350B
G06T1/00 340A
【請求項の数】
10
(21)【出願番号】P 2020127232
(22)【出願日】2020-07-28
(65)【公開番号】P2022024564
(43)【公開日】2022-02-09
【審査請求日】2023-06-02
(73)【特許権者】
【識別番号】000000918
【氏名又は名称】花王株式会社
(74)【代理人】
【識別番号】100137589
【弁理士】
【氏名又は名称】右田 俊介
(72)【発明者】
【氏名】五十嵐 崇訓
(72)【発明者】
【氏名】南 浩治
(72)【発明者】
【氏名】今井 健雄
【審査官】長谷川 素直
(56)【参考文献】
【文献】国際公開第２０１３／００５４４７（ＷＯ，Ａ１）
【文献】特開２００３－２３３６７１（ＪＰ，Ａ）
【文献】特開２０１６－１９４８９２（ＪＰ，Ａ）
【文献】特開２０１７－１７４４５４（ＪＰ，Ａ）
【文献】特開２０１８－７３２７３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ １／００
(57)【特許請求の範囲】
【請求項1】
時間経過前後の二次元の顔画像データセットを複数含む教師データを用いた機械学習により得られた学習済みモデルであって二次元の顔画像データから少なくとも経時変化後の顔表面テクスチャ情報を予測可能な学習済みモデルを利用することができる一以上のプロセッサが、対象者の二次元の顔画像データを取得するデータ取得工程と、
前記取得された二次元の顔画像データを前記学習済みモデルに適用することで予測された前記対象者の元顔の経時変化後の顔表面テクスチャ情報を含む第一経時変化顔情報を取得する第一予測工程と、
前記取得された二次元の顔画像データに対して、該顔画像データに写る前記対象者の元顔から少なくとも一部の顔表面テクスチャを変化させる特定画像処理を適用することにより、前記対象者の画像操作顔を示す二次元の操作顔画像データを取得する画像操作工程と、
前記取得された二次元の操作顔画像データを前記学習済みモデルに適用することで予測された前記対象者の画像操作顔の経時変化後の顔表面テクスチャ情報を含む第二経時変化顔情報を取得する第二予測工程と、
前記第一経時変化顔情報及び前記第二経時変化顔情報を用いて、経時変化後の前記元顔及び前記画像操作顔に関する少なくとも顔表面テクスチャを対比可能な情報を出力部に出力する出力工程と、
を実行する顔経時変化予測方法。
【請求項2】
前記対象者の前記元顔において顔表面テクスチャを変化させる部位を特定する特定工程、を更に含み、
前記画像操作工程では、前記元顔から前記特定された部位の顔表面テクスチャを変化させた前記画像操作顔を示す前記操作顔画像データを取得する、
請求項１に記載の顔経時変化予測方法。
【請求項3】
前記特定工程では、前記第一予測工程で取得された前記第一経時変化顔情報に含まれる顔表面テクスチャ情報を少なくとも用いて、前記部位を特定する、請求項２に記載の顔経時変化予測方法。
【請求項4】
前記対象者の前記元顔において顔表面テクスチャを変化させる変化態様を特定する工程、を更に含み、
前記画像操作工程では、前記取得された二次元の顔画像データに対して、複数種の画像処理の中の前記特定された変化態様に対応する前記特定画像処理を適用する、
請求項１から３のいずれか一項に記載の顔経時変化予測方法。
【請求項5】
前記取得された二次元の顔画像データに対応する前記元顔の経時変化前の顔表面テクスチャ情報と前記元顔の経時変化後の顔表面テクスチャ情報との差異を示す前記元顔の経時変化前後の顔表面テクスチャ差異情報、及び前記取得された二次元の操作顔画像データに対応する前記画像操作顔の経時変化前の顔表面テクスチャ情報と前記画像操作顔の経時変化後の顔表面テクスチャ情報との差異を示す前記画像操作顔の経時変化前後の顔表面テクスチャ差異情報を取得する工程、又は前記取得された二次元の顔画像データに対応する前記元顔の経時変化前の顔表面テクスチャ情報と前記取得された二次元の操作顔画像データに対応する前記画像操作顔の経時変化前の顔表面テクスチャ情報との差異を示す経時変化前の顔表面テクスチャ差異情報、及び前記元顔の経時変化後の顔表面テクスチャ情報と前記画像操作顔の経時変化後の顔表面テクスチャ情報との差異を示す経時変化後の顔表面テクスチャ差異情報を取得する工程
を更に含み、
前記出力工程では、前記元顔の経時変化前後の顔表面テクスチャ差異情報と前記画像操作顔の経時変化前後の顔表面テクスチャ差異情報とを対比可能に前記出力部に出力する、又は前記経時変化前の顔表面テクスチャ差異情報と前記経時変化後の顔表面テクスチャ差異情報とを対比可能に前記出力部に出力する、
請求項１から４のいずれか一項に記載の顔経時変化予測方法。
【請求項6】
前記学習済みモデルは、前記二次元の顔画像データセットに対応する三次元の顔形状情報セットを更に含む前記教師データを用いた機械学習により得られたモデルであり、二次元の顔画像データから、経時変化後における三次元の顔形状情報及び該顔形状情報に適合する顔表面テクスチャ情報を予測可能であり、前記第一予測工程で取得される前記第一経時変化顔情報は、前記元顔の経時変化後の三次元の顔形状情報を更に含み、
前記第二予測工程で取得される前記第二経時変化顔情報は、前記画像操作顔の経時変化後の三次元の顔形状情報を更に含み、
前記出力工程では、経時変化後の前記元顔及び前記画像操作顔に関する顔表面テクスチャ及び顔形状を対比可能な情報を前記出力部に出力する、
請求項１から５のいずれか一項に記載の顔経時変化予測方法。
【請求項7】
前記出力工程では、経時変化後の前記元顔の顔表面テクスチャ及び顔形状を示す多視点映像と、経時変化後の前記画像操作顔の顔表面テクスチャ及び顔形状を示す多視点映像とを対比可能に前記出力部に出力する、請求項６に記載の顔経時変化予測方法。
【請求項8】
前記学習済みモデルは、二次元の顔画像データから、三次元の顔形状情報及び該顔形状情報に適合する顔表面テクスチャ情報を経時変化前と経時変化後とに関してそれぞれ予測可能であり、前記取得された二次元の顔画像データを前記学習済みモデルに適用することで予測された前記対象者の元顔の経時変化前の顔形状情報及び顔表面テクスチャ情報を含む第一の三次元顔情報を取得する工程と、
前記取得された二次元の操作顔画像データを前記学習済みモデルに適用することで予測された前記対象者の画像操作顔の経時変化前の顔形状情報及び顔表面テクスチャ情報を含む第二の三次元顔情報を取得する工程と、
を更に含み、
前記出力工程では、前記第一の三次元顔情報及び前記第二の三次元顔情報を更に用いて、前記元顔の経時変化前後の顔表面テクスチャの差異と前記元顔の経時変化前又は経時変化後の顔形状とを示す多視点映像、及び前記画像操作顔の経時変化前後の顔表面テクスチャの差異と前記画像操作顔の経時変化前又は経時変化後の顔形状とを示す多視点映像を対比可能に前記出力部に出力する、
請求項６又は７に記載の顔経時変化予測方法。
【請求項9】
前記出力工程では、前記元顔の経時変化前後の顔形状の差異情報と前記画像操作顔の経時変化前後の顔形状の差異情報とを対比可能に前記出力部に出力する、請求項８に記載の顔経時変化予測方法。
【請求項10】
前記学習済みモデルを利用可能な装置であって、請求項１から９のいずれか一項に記載の顔経時変化予測方法を実行可能な顔経時変化予測装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、機械学習により得られる学習済みモデル及び顔画像データを用いて、人の顔の経時変化を予測分析する技術に関する。
【背景技術】
【0002】
下記特許文献１には、独立成分分析により顔画像からヘモグロビン色素画像、メラニン色素画像及び陰影画像を抽出し、それら抽出された画像に対して周波数成分分離及び主成分分析を適用して、色ムラの要因となるメラニン色素要因及びヘモグロビン色素要因、並びにしわやたるみ等の凹凸ムラの要因ごとの評価指標を得ることで、顔全体の評価指標を高精度に分析する技術が開示されている。
下記特許文献２には、機械学習により得られた学習済みモデルを用いて加齢化を予測する手法が開示されている。当該学習済みモデルは、顔形状の加齢による変化を予測する形状加齢モデルと、顔表面のテクスチャの加齢による変化を予測するテクスチャ加齢モデルと、二次元画像から三次元データを予測する三次元化予測モデルとを含む。この手法は、対象画像の特徴点を抽出し、抽出した特徴点を用いて対象画像における顔向きを推定し、三次元化予測モデル及び推定した顔向きに基づいて第１の三次元データを生成し、形状加齢モデルを用いて第１の三次元データから第２の三次元データを生成し、第１の三次元データに基づいて生成された二次元画像に対してテクスチャ加齢モデルを適用して、加齢化テクスチャを生成し、第２の三次元データに対して加齢化テクスチャを合成して、加齢化顔モデルを生成する。
下記非特許文献１には、色素ベクトル分析によって顔の陰影を削除すること、陰影を削除した顔画像に対して独立成分分析を適用してヘモグロビン成分及びメラニン成分を抽出すること等が開示されている。
下記特許文献２には、機械学習により得られた学習済みモデルを用いて加齢化を予測する手法が開示されている。当該学習済みモデルは、顔形状の加齢による変化を予測する形状加齢モデルと、顔表面のテクスチャの加齢による変化を予測するテクスチャ加齢モデルと、二次元画像から三次元データを予測する三次元化予測モデルとを含む。この手法は、対象画像の特徴点を抽出し、抽出した特徴点を用いて対象画像における顔向きを推定し、三次元化予測モデル及び推定した顔向きに基づいて第１の三次元データを生成し、形状加齢モデルを用いて第１の三次元データから第２の三次元データを生成し、第１の三次元データに基づいて生成された二次元画像に対してテクスチャ加齢モデルを適用して、加齢化テクスチャを生成し、第２の三次元データに対して加齢化テクスチャを合成して、加齢化顔モデルを生成する。
下記非特許文献１には、色素ベクトル分析によって顔の陰影を削除すること、陰影を削除した顔画像に対して独立成分分析を適用してヘモグロビン成分及びメラニン成分を抽出すること等が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１５－５２８１号公報
【文献】特開２０１６－１９４８９２号公報
【非特許文献】
【0004】
【文献】Norimichi Tsumura etc.， "Image-based skin color and texture analysis/synthesis by extracting hemoglobin and melanin information in the skin，" acm Transactions on Graphics， Vol. 22， No. 3.pp. 770-779(2003). (Proceedings of ACM SIGGRAPH 2003)
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述の加齢化予測手法によれば、二次元の顔画像から加齢化テクスチャを予測することができ、他の分析手法によれば、顔画像を処理して顔表面テクスチャを変化させたり、顔の評価指標を得たりすることができる。このような現状の各手法は、顔画像の顔表面テクスチャを変化させること、或いは顔画像から何らかの評価指標を得ることに着眼しているに過ぎない。
そんな中、本発明者らは、初期の顔表面テクスチャの差異が経時変化後にどのようなテクスチャの差異として現れるのかを予測し、これを分かり易く提示することで、肌美容のための方法や製品（医療行為を除く）の効果を客観的かつ容易にユーザに把握させることができるという新たな着想を得た。
そんな中、本発明者らは、初期の顔表面テクスチャの差異が経時変化後にどのようなテクスチャの差異として現れるのかを予測し、これを分かり易く提示することで、肌美容のための方法や製品（医療行為を除く）の効果を客観的かつ容易にユーザに把握させることができるという新たな着想を得た。
【0006】
本発明は、初期の顔表面テクスチャの差異が経時変化後にどのようなテクスチャの差異として現れるのかを予測し、これを把握し易いように提示する技術に関する。
本明細書で「顔表面テクスチャ」とは、顔の肌の表面又は内部に由来する空間分布特徴に相当するものである。「顔表面テクスチャ」の例として、赤みやシミ等の肌の色ムラ等や、肌の光沢、シワ、毛穴、鱗屑等の肌の表面の凹凸或いは粗さのような顔表面の空間的分布を生み出す特徴が挙げられる。また、他の例として、メイクアップ化粧料を塗布した肌においては、塗膜の付着状態や、皮脂分泌がもたらす色ムラ、光沢、表面の凹凸の不均一さのような顔表面の空間的分布を生み出す特徴もあげられる。
本明細書で「顔表面テクスチャ」とは、顔の肌の表面又は内部に由来する空間分布特徴に相当するものである。「顔表面テクスチャ」の例として、赤みやシミ等の肌の色ムラ等や、肌の光沢、シワ、毛穴、鱗屑等の肌の表面の凹凸或いは粗さのような顔表面の空間的分布を生み出す特徴が挙げられる。また、他の例として、メイクアップ化粧料を塗布した肌においては、塗膜の付着状態や、皮脂分泌がもたらす色ムラ、光沢、表面の凹凸の不均一さのような顔表面の空間的分布を生み出す特徴もあげられる。
【課題を解決するための手段】
【0007】
本発明の態様では、上述した課題を解決するために、それぞれ以下の構成を採用する。
本発明の態様は、時間経過前後の二次元の顔画像データセットを複数含む教師データを用いた機械学習により得られた学習済みモデルであって二次元の顔画像データから少なくとも経時変化後の顔表面テクスチャ情報を予測可能な学習済みモデルを利用することができる一以上のプロセッサが実行する顔経時変化予測方法に関する。この顔経時変化予測方法は、対象者の二次元の顔画像データを取得するデータ取得工程と、前記取得された二次元の顔画像データを前記学習済みモデルに適用することで予測された前記対象者の元顔の経時変化後の顔表面テクスチャ情報を含む第一経時変化顔情報を取得する第一予測工程と、前記取得された二次元の顔画像データに対して、該顔画像データに写る前記対象者の元顔から少なくとも一部の顔表面テクスチャを変化させる特定画像処理を適用することにより、前記対象者の画像操作顔を示す二次元の操作顔画像データを取得する画像操作工程と、前記取得された二次元の操作顔画像データを前記学習済みモデルに適用することで予測された前記対象者の画像操作顔の経時変化後の顔表面テクスチャ情報を含む第二経時変化顔情報を取得する第二予測工程と、前記第一経時変化顔情報及び前記第二経時変化顔情報を用いて、経時変化後の前記元顔及び前記画像操作顔に関する少なくとも顔表面テクスチャを対比可能な情報を出力部に出力する出力工程と、を含む。
また、本発明の別態様は、例えば、上記態様に係る顔経時変化予測方法を実行する顔経時変化予測装置（情報処理装置、コンピュータ）に関するものであり、上記態様に係る顔経時変化予測方法をコンピュータに実行させるプログラムに関するものであり、このようなプログラムを記録したコンピュータが読み取り可能な記憶媒体に関するものである。この記録媒体は、非一時的な有形の媒体を含む。
本発明の態様は、時間経過前後の二次元の顔画像データセットを複数含む教師データを用いた機械学習により得られた学習済みモデルであって二次元の顔画像データから少なくとも経時変化後の顔表面テクスチャ情報を予測可能な学習済みモデルを利用することができる一以上のプロセッサが実行する顔経時変化予測方法に関する。この顔経時変化予測方法は、対象者の二次元の顔画像データを取得するデータ取得工程と、前記取得された二次元の顔画像データを前記学習済みモデルに適用することで予測された前記対象者の元顔の経時変化後の顔表面テクスチャ情報を含む第一経時変化顔情報を取得する第一予測工程と、前記取得された二次元の顔画像データに対して、該顔画像データに写る前記対象者の元顔から少なくとも一部の顔表面テクスチャを変化させる特定画像処理を適用することにより、前記対象者の画像操作顔を示す二次元の操作顔画像データを取得する画像操作工程と、前記取得された二次元の操作顔画像データを前記学習済みモデルに適用することで予測された前記対象者の画像操作顔の経時変化後の顔表面テクスチャ情報を含む第二経時変化顔情報を取得する第二予測工程と、前記第一経時変化顔情報及び前記第二経時変化顔情報を用いて、経時変化後の前記元顔及び前記画像操作顔に関する少なくとも顔表面テクスチャを対比可能な情報を出力部に出力する出力工程と、を含む。
また、本発明の別態様は、例えば、上記態様に係る顔経時変化予測方法を実行する顔経時変化予測装置（情報処理装置、コンピュータ）に関するものであり、上記態様に係る顔経時変化予測方法をコンピュータに実行させるプログラムに関するものであり、このようなプログラムを記録したコンピュータが読み取り可能な記憶媒体に関するものである。この記録媒体は、非一時的な有形の媒体を含む。
【発明の効果】
【0008】
上記態様によれば、初期の顔表面テクスチャの差異が経時変化後にどのようなテクスチャの差異として現れるのかを予測し、これを把握し易いように提示する技術を提供することができる。
【図面の簡単な説明】
【0009】
【図1】本実施形態に係る顔経時変化予測方法を実行可能な情報処理装置のハードウェア構成例を概念的に示す図である。
【図2】第一実施形態に係る顔経時変化予測方法の処理の流れを示す図である。
【図3】第一実施形態に係る顔経時変化予測方法の変形例に関する処理の流れを示す図である。
【図4】第二実施形態に係る顔経時変化予測方法の処理の流れを示す図である。
【図5】第二実施形態に係る顔経時変化予測方法の処理の流れを示す図である。
【図6】各種テクスチャ画像及び各種相同モデルの合成イメージを示す図である。
【図7】第三変形例に係る顔経時変化予測方法の処理の流れの一部を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の好ましい実施形態の例（以降、本実施形態と表記する）について説明する。なお、以下に説明する本実施形態は例示であり、本発明は以下に挙げる構成に限定されない。
【0011】
本実施形態に係る顔経時変化予測方法（以下、本方法と表記する）は、一台以上の情報処理装置が備える一以上のプロセッサにより実行される。
図１は、本方法を実行可能な情報処理装置１０のハードウェア構成例を概念的に示す図である。
情報処理装置１０は、いわゆるコンピュータであり、ＣＰＵ１１、メモリ１２、入出力インタフェース（Ｉ／Ｆ）１３、通信ユニット１４等を有する。情報処理装置１０は、据え置き型のＰＣ（Personal Computer）であってもよいし、携帯型のＰＣ、スマートフォン、タブレット等のような携帯端末であってもよい。
図１は、本方法を実行可能な情報処理装置１０のハードウェア構成例を概念的に示す図である。
情報処理装置１０は、いわゆるコンピュータであり、ＣＰＵ１１、メモリ１２、入出力インタフェース（Ｉ／Ｆ）１３、通信ユニット１４等を有する。情報処理装置１０は、据え置き型のＰＣ（Personal Computer）であってもよいし、携帯型のＰＣ、スマートフォン、タブレット等のような携帯端末であってもよい。
【0012】
ＣＰＵ１１は、いわゆるプロセッサであり、一般的なＣＰＵ（Central Processing Unit）に加えて、特定用途向け集積回路（ＡＳＩＣ）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）等も含まれ得る。メモリ１２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置（ハードディスク等）である。
入出力Ｉ／Ｆ１３は、表示装置１５、入力装置１６等のユーザインタフェース装置と接続可能である。表示装置１５は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイのような、ＣＰＵ１１等により処理された描画データに対応する画面を表示する装置である。入力装置１６は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置である。表示装置１５及び入力装置１６は一体化され、タッチパネルとして実現されてもよい。
通信ユニット１４は、通信網を介した他のコンピュータとの通信や、プリンタ等の他の機器との信号のやりとり等を行う。通信ユニット１４には、可搬型記録媒体等も接続され得る。
入出力Ｉ／Ｆ１３は、表示装置１５、入力装置１６等のユーザインタフェース装置と接続可能である。表示装置１５は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイのような、ＣＰＵ１１等により処理された描画データに対応する画面を表示する装置である。入力装置１６は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置である。表示装置１５及び入力装置１６は一体化され、タッチパネルとして実現されてもよい。
通信ユニット１４は、通信網を介した他のコンピュータとの通信や、プリンタ等の他の機器との信号のやりとり等を行う。通信ユニット１４には、可搬型記録媒体等も接続され得る。
【0013】
情報処理装置１０のハードウェア構成は、図１の例に制限されない。情報処理装置１０は、図示されていない他のハードウェア要素を含んでもよい。また、各ハードウェア要素の数も、図１の例に制限されない。例えば、情報処理装置１０は、複数のＣＰＵ１１を有していてもよい。また、情報処理装置１０は、複数の筐体からなる複数台のコンピュータにより実現されていてもよい。
【0014】
情報処理装置１０は、ＣＰＵ１１によりメモリ１２に格納されたコンピュータプログラムが実行されることにより、本方法を実行することができる。このコンピュータプログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ１３又は通信ユニット１４を介してインストールされ、メモリ１２に格納される。
【0015】
情報処理装置１０（ＣＰＵ１１）は、教師データを用いた機械学習により得られた学習済みモデルを利用可能である。
ここでの「学習済みモデル」は、教師データを用いた機械学習、即ち教師あり学習により得られたモデルであり、ＡＩ（Artificial Intelligence）モデル、機械学習（Machine Learning（ＭＬ））モデル等と表記可能である。
本実施形態で利用される学習済みモデルは、回帰分析で得られる回帰式であってもよいし、主成分分析や、ディープラーニング（深層学習）等で得られるニューラルネットワークモデルであってもよく、そのモデルのデータ構造や学習アルゴリズム等は限定されない。例えば、当該学習済みモデルは、コンピュータプログラムとパラメータとの組合せ、複数の関数とパラメータとの組合せなどにより実現される。顔画像は例えば主成分分析を用いて次元削減・コード化の処理が為される。学習済みモデルは、ニューラルネットワークで構築される場合で、かつ、入力層、中間層及び出力層を一つのニューラルネットワークの単位と捉えた場合に、一つのニューラルネットワークを指してもよいし、複数のニューラルネットワークの組合せを指してもよい。また、学習済みモデルは、複数の重回帰式の組合せで構成されてもよいし、一つの重回帰式で構成されてもよい。
学習済みモデルは、情報処理装置１０内のメモリ１２に格納されていてもよいし、情報処理装置１０が通信でアクセス可能な他のコンピュータのメモリに格納されていてもよい。
ここでの「学習済みモデル」は、教師データを用いた機械学習、即ち教師あり学習により得られたモデルであり、ＡＩ（Artificial Intelligence）モデル、機械学習（Machine Learning（ＭＬ））モデル等と表記可能である。
本実施形態で利用される学習済みモデルは、回帰分析で得られる回帰式であってもよいし、主成分分析や、ディープラーニング（深層学習）等で得られるニューラルネットワークモデルであってもよく、そのモデルのデータ構造や学習アルゴリズム等は限定されない。例えば、当該学習済みモデルは、コンピュータプログラムとパラメータとの組合せ、複数の関数とパラメータとの組合せなどにより実現される。顔画像は例えば主成分分析を用いて次元削減・コード化の処理が為される。学習済みモデルは、ニューラルネットワークで構築される場合で、かつ、入力層、中間層及び出力層を一つのニューラルネットワークの単位と捉えた場合に、一つのニューラルネットワークを指してもよいし、複数のニューラルネットワークの組合せを指してもよい。また、学習済みモデルは、複数の重回帰式の組合せで構成されてもよいし、一つの重回帰式で構成されてもよい。
学習済みモデルは、情報処理装置１０内のメモリ１２に格納されていてもよいし、情報処理装置１０が通信でアクセス可能な他のコンピュータのメモリに格納されていてもよい。
【0016】
このように情報処理装置１０は、学習済みモデルを利用可能な装置であって顔経時変化予測方法を実行可能な顔経時変化予測装置と表記可能である。
以降、本方法で利用される学習済みモデルは、ＡＩモデルと表記される。また、以降の説明では、本方法の実行主体をＣＰＵ１１として説明する。
以降、本方法で利用される学習済みモデルは、ＡＩモデルと表記される。また、以降の説明では、本方法の実行主体をＣＰＵ１１として説明する。
【0017】
【0018】
第一実施形態で利用されるＡＩモデルは、時間経過前後の二次元の顔画像データセットを複数含む教師データを用いた機械学習により得られ、二次元の顔画像データから経時変化後の顔表面テクスチャ情報を予測可能である。
ここで「ＡＩモデルが経時変化後の顔表面テクスチャ情報を予測可能である」とは、ＡＩモデルから出力される情報に基づいて経時変化後の顔表面テクスチャ情報を取得することができることを意味する。
ＡＩモデルを用いて生成される顔表面テクスチャ情報は、顔表面のテクスチャを示す情報であればよく、画像データであってもよいし、画像データ以外の書式のデータであってもよい。本実施形態では、当該顔表面テクスチャ情報は画像データとして説明する。
また、ＡＩモデルにより予測される経時変化は、年齢、季節、日間、朝夕等の時間経過に伴う変化であり、その経過時間の長さは制限されない。ＡＩモデルは、５年後或いは１０年後の加齢変化を予測してもよいし、一週間後或いは一か月後の変化を予測してもよいし、化粧料、美容施術（医療行為を除く）又は美容用若しくは健康用の飲食品の適用後の変化を予測してもよいし、メイクアップ化粧料塗布直後から一定の時間経過後の変化を予測してもよい。このようなＡＩモデルにより予測される経時変化は、教師データとして利用される時間経過前後の顔画像データセットにより設定することができる。
当該教師データに含まれる二次元の顔画像データは、素顔の画像データであってもよいし、化粧顔の画像データであってもよい。例えば、メイクアップ化粧料塗布直後の化粧顔の画像データとその化粧顔から時間経過に伴い化粧崩れが生じた化粧顔の画像データとのデータセットが教師データとされてもよい。
また、当該教師データは、時間経過前後の同一人の顔画像データセットのみで形成されることが好ましいが、顔の特徴や顔のテクスチャ特徴が似ているなど、時間経過前後に相当しうる異なる二人の顔画像データセットを含んでもよいし、時間経過前又は時間経過後のいずれか一方の顔画像データとその顔画像データに対する画像処理で生成された他方の顔画像データとでデータセットを形成してもよい。
但し、教師データで用いられる顔画像データは、写る顔の向きが正規化されており、更に、当該母集団における各個人の顔の特定パーツ（目、鼻、口等）の位置が正規化された画像データとされることが望ましい。また、教師データとされる顔画像データは、可視光画像のみでなく、赤外線等の可視光以外の波長帯を撮像した画像であってもよい。
ここで「ＡＩモデルが経時変化後の顔表面テクスチャ情報を予測可能である」とは、ＡＩモデルから出力される情報に基づいて経時変化後の顔表面テクスチャ情報を取得することができることを意味する。
ＡＩモデルを用いて生成される顔表面テクスチャ情報は、顔表面のテクスチャを示す情報であればよく、画像データであってもよいし、画像データ以外の書式のデータであってもよい。本実施形態では、当該顔表面テクスチャ情報は画像データとして説明する。
また、ＡＩモデルにより予測される経時変化は、年齢、季節、日間、朝夕等の時間経過に伴う変化であり、その経過時間の長さは制限されない。ＡＩモデルは、５年後或いは１０年後の加齢変化を予測してもよいし、一週間後或いは一か月後の変化を予測してもよいし、化粧料、美容施術（医療行為を除く）又は美容用若しくは健康用の飲食品の適用後の変化を予測してもよいし、メイクアップ化粧料塗布直後から一定の時間経過後の変化を予測してもよい。このようなＡＩモデルにより予測される経時変化は、教師データとして利用される時間経過前後の顔画像データセットにより設定することができる。
当該教師データに含まれる二次元の顔画像データは、素顔の画像データであってもよいし、化粧顔の画像データであってもよい。例えば、メイクアップ化粧料塗布直後の化粧顔の画像データとその化粧顔から時間経過に伴い化粧崩れが生じた化粧顔の画像データとのデータセットが教師データとされてもよい。
また、当該教師データは、時間経過前後の同一人の顔画像データセットのみで形成されることが好ましいが、顔の特徴や顔のテクスチャ特徴が似ているなど、時間経過前後に相当しうる異なる二人の顔画像データセットを含んでもよいし、時間経過前又は時間経過後のいずれか一方の顔画像データとその顔画像データに対する画像処理で生成された他方の顔画像データとでデータセットを形成してもよい。
但し、教師データで用いられる顔画像データは、写る顔の向きが正規化されており、更に、当該母集団における各個人の顔の特定パーツ（目、鼻、口等）の位置が正規化された画像データとされることが望ましい。また、教師データとされる顔画像データは、可視光画像のみでなく、赤外線等の可視光以外の波長帯を撮像した画像であってもよい。
【0019】
当該ＡＩモデルのデータ構造及び学習手法には様々な周知技術を利用可能であり、例えば、上述の特許文献２で開示されるテクスチャ加齢モデルの生成手法や学習手法などを用いることができる。例えば、主成分分析を用いたテクスチャ加齢モデルとＷＡＶＥＬＥＴ変換を用いたテクスチャ加齢モデルとの両方が利用されてもよいし、どちらか一方が利用されてもよい。また、教師データ及びＡＩモデルに適用される二次元顔画像データは、直角座標系以外の円柱座標系等の画像に変換されてもよい。
【0020】
第一方法は、図２に示されるように、工程（Ｓ２１）から工程（Ｓ２７）を含んでいる。
工程（Ｓ２１）は、対象者の二次元の顔画像データ（以降、元顔画像ＢＯＰと表記する場合がある）を取得するデータ取得工程である。以降の説明では、工程（Ｓ２１）で取得された顔画像データに写る対象者の顔を元顔と表記する場合がある。
元顔画像ＢＯＰのデータは、例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式、ＢＭＰ（Bitmap image）形式、ＴＩＦＦ（Tagged Image File Format）形式、ＧＩＦ（Graphic Interchange Format）形式等の画像ファイルとして取得される。但し、画像のデータ形式は、制限されず、各画素の明暗情報が羅列される形式であってもよい。また、取得される画像は、カラー画像であってもよいし、カラー画像がグレースケール化されることで得られるグレースケール画像であってもよい。ＣＰＵ１１は、顔画像を撮像したカメラから元顔画像ＢＯＰを取得してもよいし、他のコンピュータや可搬型記録媒体から元顔画像ＢＯＰを取得してもよい。
工程（Ｓ２１）は、対象者の二次元の顔画像データ（以降、元顔画像ＢＯＰと表記する場合がある）を取得するデータ取得工程である。以降の説明では、工程（Ｓ２１）で取得された顔画像データに写る対象者の顔を元顔と表記する場合がある。
元顔画像ＢＯＰのデータは、例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式、ＢＭＰ（Bitmap image）形式、ＴＩＦＦ（Tagged Image File Format）形式、ＧＩＦ（Graphic Interchange Format）形式等の画像ファイルとして取得される。但し、画像のデータ形式は、制限されず、各画素の明暗情報が羅列される形式であってもよい。また、取得される画像は、カラー画像であってもよいし、カラー画像がグレースケール化されることで得られるグレースケール画像であってもよい。ＣＰＵ１１は、顔画像を撮像したカメラから元顔画像ＢＯＰを取得してもよいし、他のコンピュータや可搬型記録媒体から元顔画像ＢＯＰを取得してもよい。
【0021】
工程（Ｓ２１）で取得される元顔画像ＢＯＰでは、その画像の被写体の状態がＡＩモデルの教師データで用いられた顔画像のそれと整合していることが好ましい。例えば、教師データの顔画像が正面から視た顔表面テクスチャを示している場合には、元顔画像ＢＯＰも同様に、対象者の正面から視た顔表面テクスチャを示していることが好ましい。
そこで、工程（Ｓ２１）では、取得された顔画像データに対して、ＡＩモデルの教師データの顔画像と適合させる正規化処理を施すことで、元顔画像ＢＯＰを取得するようにしてもよい。この正規化処理では、例えば、画像データ内の顔の大きさや位置、顔の特定パーツ（目、鼻、口等）の位置の正規化、背景抜き等が行われる。
顔の特定パーツ（目、鼻、口等）の位置の正規化を行う場合には、工程（Ｓ２１）では、取得された顔画像データに対して所定の画像認識処理を施すことで、目、鼻、口、眉などの特定パーツを自動認識するようにしてもよい。この場合、工程（Ｓ２１）では、自動認識の結果が示す特定パーツの有無や位置関係などから、取得された顔画像データが利用可能か否かをチェックすることもできる。
そこで、工程（Ｓ２１）では、取得された顔画像データに対して、ＡＩモデルの教師データの顔画像と適合させる正規化処理を施すことで、元顔画像ＢＯＰを取得するようにしてもよい。この正規化処理では、例えば、画像データ内の顔の大きさや位置、顔の特定パーツ（目、鼻、口等）の位置の正規化、背景抜き等が行われる。
顔の特定パーツ（目、鼻、口等）の位置の正規化を行う場合には、工程（Ｓ２１）では、取得された顔画像データに対して所定の画像認識処理を施すことで、目、鼻、口、眉などの特定パーツを自動認識するようにしてもよい。この場合、工程（Ｓ２１）では、自動認識の結果が示す特定パーツの有無や位置関係などから、取得された顔画像データが利用可能か否かをチェックすることもできる。
【0022】
工程（Ｓ２２）は、工程（Ｓ２１）で取得された二次元の顔画像データに対して特定画像処理を適用することにより、対象者の画像操作顔を示す二次元の操作顔画像データ（以降、操作顔画像ＢＣＰと表記する場合がある）を取得する画像操作工程である。
工程（Ｓ２２）で適用される特定画像処理は、元顔画像ＢＯＰに写る対象者の元顔から少なくとも一部の顔表面テクスチャを変化させる画像処理であり、経時変化後の違いを確認する目的にかなう顔表面テクスチャ変化を対象者の元顔画像ＢＯＰに与え得る処理であれば、その具体的な処理内容は制限されない。
例えば、肌の色ムラの増減に伴う経時変化後の違いを確認することを目的とする場合には、肌の赤みを増加させる画像処理、肌の赤みを減らす画像処理、シミを形成する画像処理、シミを消失させる画像処理等が適用可能である。
また、肌の光沢の増減に伴う経時変化後の違いを確認することを目的とする場合には、肌の光沢を増加させる画像処理、肌の光沢を減少させる画像処理等が適用可能である。
また、肌の表面の凹凸若しくは粗さの増減に伴う経時変化後の違いを確認することを目的とする場合には、表面しわを形成する画像処理、表面しわを消失させる画像処理、毛穴を拡大させる画像処理、毛穴を縮小させる画像処理等が適用可能である。
工程（Ｓ２２）で適用される特定画像処理は、元顔画像ＢＯＰに写る対象者の元顔から少なくとも一部の顔表面テクスチャを変化させる画像処理であり、経時変化後の違いを確認する目的にかなう顔表面テクスチャ変化を対象者の元顔画像ＢＯＰに与え得る処理であれば、その具体的な処理内容は制限されない。
例えば、肌の色ムラの増減に伴う経時変化後の違いを確認することを目的とする場合には、肌の赤みを増加させる画像処理、肌の赤みを減らす画像処理、シミを形成する画像処理、シミを消失させる画像処理等が適用可能である。
また、肌の光沢の増減に伴う経時変化後の違いを確認することを目的とする場合には、肌の光沢を増加させる画像処理、肌の光沢を減少させる画像処理等が適用可能である。
また、肌の表面の凹凸若しくは粗さの増減に伴う経時変化後の違いを確認することを目的とする場合には、表面しわを形成する画像処理、表面しわを消失させる画像処理、毛穴を拡大させる画像処理、毛穴を縮小させる画像処理等が適用可能である。
【0023】
このような顔表面テクスチャ変化を実現し得る画像処理としては、例えば、元顔画像ＢＯＰに対して独立成分分析を行うことで、ヘモグロビン色素画像、メラニン色素画像及び陰影画像を抽出し、各色素画像を多重解像度解析（二次元離散ウェーブレット変換等）を用いてそれぞれ高周波成分画像及び低周波成分画像に分離し、必要な周波数成分画像に所定の変調処理を施したのち再合成する処理が例示できる。例えば、ヘモグロビン色素画像の低周波成分画像に対してコントラスト強調処理を施すことで肌の赤みを増加させた操作顔画像ＢＣＰが生成可能である。また、ヘモグロビン色素画像の低周波成分画像に対してコントラストを低減するフィルタリング処理を施すことで肌の赤みを減少させた操作顔画像ＢＣＰが生成可能である。また、メラニン色素画像の高周波成分画像に対して同様の処理を施すことで、シミを形成した又はシミを消失させた操作顔画像ＢＣＰが生成可能である。また、陰影画像の濃度ヒストグラムの歪度を変化させることで、光沢を増減させた操作顔画像ＢＣＰが生成可能である。その他、エッジ強調フィルタやガウシアンフィルタ等を用いることで、毛穴を拡大又は縮小させた操作顔画像ＢＣＰが生成可能である。
更に言えば、工程（Ｓ２２）で適用される特定画像処理は、工程（Ｓ２１）で取得された二次元の顔画像データを表示装置１５に表示させて、表示されている顔画像に対するユーザ操作で元顔画像ＢＯＰを変化させる画像処理であってもよい。この場合、ユーザは、目視で変化させたい部位を確認しながら入力装置１６を操作することで、特定のシミやほうれい線のような特定の凹凸を消すといった所望の変化を施すことができる。このような画像処理には、既存の画像処理ソフトウェアで採用される画像処理が利用されればよい。
更に言えば、工程（Ｓ２２）で適用される特定画像処理は、工程（Ｓ２１）で取得された二次元の顔画像データを表示装置１５に表示させて、表示されている顔画像に対するユーザ操作で元顔画像ＢＯＰを変化させる画像処理であってもよい。この場合、ユーザは、目視で変化させたい部位を確認しながら入力装置１６を操作することで、特定のシミやほうれい線のような特定の凹凸を消すといった所望の変化を施すことができる。このような画像処理には、既存の画像処理ソフトウェアで採用される画像処理が利用されればよい。
【0024】
このように顔表面テクスチャを変化させる変化態様には様々な態様がある。そこで、第一方法は、複数の変化態様の中から、対象者の元顔において顔表面テクスチャを変化させる変化態様を特定する工程を更に含んでもよい。この場合、変化態様ごとにそれぞれ画像処理が対応付けられており、ＣＰＵ１１は、工程（Ｓ２２）において、工程（Ｓ２１）で取得された二次元の顔画像データに対して、複数種の画像処理の中の、当該特定された変化態様に対応する特定画像処理を適用することができる。
ＣＰＵ１１は、サポートされている複数の変化態様を示す情報を表示装置１５に表示し、ユーザに所望の変化態様を選択させるようにしてもよい。そして、選択された変化態様に対応する特定画像処理が元顔画像ＢＯＰに適用されることで、操作顔画像ＢＣＰが生成されてもよい。
これにより、元顔画像ＢＯＰから、肌の赤みやしみ、光沢感、しわ、毛穴等のような顔表面テクスチャの様々な特性を変化させた操作顔画像ＢＣＰを生成することができる。結果、後述するように、顔表面テクスチャの様々な特性における違いが経時変化後にどのようなテクスチャの差異として現れるのかを予測し、これを提示することができる。また、化粧料、美容施術（医療行為を除く）又は美容用若しくは健康用の飲食品ごとの効能に応じた変化態様を特定することで、それらの効能をユーザに把握させることができるようになる。
但し、ＣＰＵ１１は、複数の変化態様に対応する複数の特定画像処理を元顔画像ＢＯＰに適用することで、複数の変化態様に対応する複数の操作顔画像ＢＣＰを生成するようにしてもよい。また、ＣＰＵ１１は、操作顔画像ＢＣＰを表示装置１５に表示し、テクスチャ変化の程度をユーザに指示させることで、操作顔画像ＢＣＰを更に変化させることもできる。また、ＣＰＵ１１は、操作顔画像ＢＣＰの表示後、ユーザにその操作顔画像ＢＣＰで処理を進めるか否かを選択させるようにすることもできる。
ＣＰＵ１１は、サポートされている複数の変化態様を示す情報を表示装置１５に表示し、ユーザに所望の変化態様を選択させるようにしてもよい。そして、選択された変化態様に対応する特定画像処理が元顔画像ＢＯＰに適用されることで、操作顔画像ＢＣＰが生成されてもよい。
これにより、元顔画像ＢＯＰから、肌の赤みやしみ、光沢感、しわ、毛穴等のような顔表面テクスチャの様々な特性を変化させた操作顔画像ＢＣＰを生成することができる。結果、後述するように、顔表面テクスチャの様々な特性における違いが経時変化後にどのようなテクスチャの差異として現れるのかを予測し、これを提示することができる。また、化粧料、美容施術（医療行為を除く）又は美容用若しくは健康用の飲食品ごとの効能に応じた変化態様を特定することで、それらの効能をユーザに把握させることができるようになる。
但し、ＣＰＵ１１は、複数の変化態様に対応する複数の特定画像処理を元顔画像ＢＯＰに適用することで、複数の変化態様に対応する複数の操作顔画像ＢＣＰを生成するようにしてもよい。また、ＣＰＵ１１は、操作顔画像ＢＣＰを表示装置１５に表示し、テクスチャ変化の程度をユーザに指示させることで、操作顔画像ＢＣＰを更に変化させることもできる。また、ＣＰＵ１１は、操作顔画像ＢＣＰの表示後、ユーザにその操作顔画像ＢＣＰで処理を進めるか否かを選択させるようにすることもできる。
【0025】
工程（Ｓ２３）は、工程（Ｓ２１）で取得された二次元の顔画像データ（元顔画像ＢＯＰ）をＡＩモデルに適用することで予測された対象者の元顔の経時変化後の顔表面テクスチャ情報（第一経時変化顔情報）を取得する第一予測工程である。本実施形態では、工程（Ｓ２３）では、第一経時変化顔情報を用いて予測元顔画像ＡＯＰが生成される。つまり、予測元顔画像ＡＯＰは、元顔画像ＢＯＰに写る対象者の元顔の顔表面テクスチャをＡＩモデルによる予測に基づいて経時変化させた顔表面テクスチャを示す。
【0026】
工程（Ｓ２４）は、工程（Ｓ２２）で取得された二次元の操作顔画像データ（操作顔画像ＢＣＰ）をＡＩモデルに適用することで予測された対象者の画像操作顔の経時変化後の顔表面テクスチャ情報（第二経時変化顔情報）を取得する第二予測工程である。本実施形態では、工程（Ｓ２４）では、第二経時変化顔情報を用いて予測操作顔画像ＡＣＰが生成される。つまり、予測操作顔画像ＡＣＰは、操作顔画像ＢＣＰに写る対象者の画像操作顔の顔表面テクスチャをＡＩモデルによる予測に基づいて経時変化させた顔表面テクスチャを示す。
【0027】
工程（Ｓ２５）は、対象者の元顔の経時変化前後の顔表面テクスチャ差異情報を取得する工程であり、工程（Ｓ２６）は、対象者の画像操作顔の経時変化前後の顔表面テクスチャ差異情報を取得する工程である。本実施形態において、工程（Ｓ２５）では、工程（Ｓ２１）で取得された元顔画像ＢＯＰと工程（Ｓ２３）で取得された予測元顔画像ＡＯＰとの差異情報が取得され、工程（Ｓ２６）では、工程（Ｓ２２）で取得された操作顔画像ＢＣＰと工程（Ｓ２４）で取得された予測操作顔画像ＡＣＰとの差異情報が取得される。
工程（Ｓ２５）及び工程（Ｓ２６）で取得される顔表面テクスチャ差異情報は、顔表面テクスチャ間の差異を示す情報であればよく、本実施形態では差異画像データが当該差異情報として取得される。以降、工程（Ｓ２５）で取得される差異情報は差異画像ＯＤと表記され、工程（Ｓ２６）で取得される差異情報は差異画像ＣＤと表記される場合がある。
工程（Ｓ２５）及び工程（Ｓ２６）で取得される顔表面テクスチャ差異情報は、顔表面テクスチャ間の差異を示す情報であればよく、本実施形態では差異画像データが当該差異情報として取得される。以降、工程（Ｓ２５）で取得される差異情報は差異画像ＯＤと表記され、工程（Ｓ２６）で取得される差異情報は差異画像ＣＤと表記される場合がある。
【0028】
顔表面テクスチャの差異情報の取得手法には周知のあらゆる手法が利用可能である。例えば、差異データの抽出、差異データからの必要情報の抽出、必要情報の符号化、符号化された必要情報の可視化といった流れで当該差異情報を取得することができる。
例えば、画像間をピクセル単位若しくはブロック単位で比較して、濃淡値の差分値（符号付き又は絶対値）や比率を算出する、或いは濃淡値の比較判別を行うことで差異データを抽出できる。抽出した差異データには、電子的ノイズや、本来の顔表面テクスチャとは違う照明由来の肌のムラ情報等、不要な情報が含まれている場合がある。そこで、周波数フィルタや空間フィルタを当該抽出された差異データに適用することで不要な情報を除外することができる。また、当該差異データの中から必要な情報のみを抽出するために、モルフォロジー変換を介した抽出を行うようにしてもよい。
このように抽出された必要情報を二値化、多値化（グレード化）などで符号化し、符号化した必要情報は、色や輝度の違いとして画像化したり、ラベリングしたりして可視化できる。
例えば、画像間をピクセル単位若しくはブロック単位で比較して、濃淡値の差分値（符号付き又は絶対値）や比率を算出する、或いは濃淡値の比較判別を行うことで差異データを抽出できる。抽出した差異データには、電子的ノイズや、本来の顔表面テクスチャとは違う照明由来の肌のムラ情報等、不要な情報が含まれている場合がある。そこで、周波数フィルタや空間フィルタを当該抽出された差異データに適用することで不要な情報を除外することができる。また、当該差異データの中から必要な情報のみを抽出するために、モルフォロジー変換を介した抽出を行うようにしてもよい。
このように抽出された必要情報を二値化、多値化（グレード化）などで符号化し、符号化した必要情報は、色や輝度の違いとして画像化したり、ラベリングしたりして可視化できる。
【0029】
工程（Ｓ２７）は、工程（Ｓ２５）で取得された対象者の元顔の経時変化前後の顔表面テクスチャ差異情報と、工程（Ｓ２６）で取得された対象者の画像操作顔の経時変化前後の顔表面テクスチャ差異情報とを対比可能に出力する出力工程である。本実施形態では、対象者の元顔に関する差異画像ＯＤと対象者の画像操作顔に関する差異画像ＣＤとが対比可能に出力される。
工程（Ｓ２７）での出力は、差異情報（差異画像）を表示装置１５に表示することで実現されてもよいし、プリンタ装置に印刷することで実現されてもよいし、可搬型記録媒体や他のコンピュータに通信ユニット１４を経由して送ることで実現されてもよい。
また、ＣＰＵ１１は、出力形態としては、両方の差異情報（差異画像）を見比べることができるようにそれらを並べて表示（出力）してもよいし、切り替え可能にいずれか一方を表示してもよいし、重畳して表示してもよい。
工程（Ｓ２７）での出力は、差異情報（差異画像）を表示装置１５に表示することで実現されてもよいし、プリンタ装置に印刷することで実現されてもよいし、可搬型記録媒体や他のコンピュータに通信ユニット１４を経由して送ることで実現されてもよい。
また、ＣＰＵ１１は、出力形態としては、両方の差異情報（差異画像）を見比べることができるようにそれらを並べて表示（出力）してもよいし、切り替え可能にいずれか一方を表示してもよいし、重畳して表示してもよい。
【0030】
また、ＣＰＵ１１は、差異画像ＯＤ及び差異画像ＣＤに加えて、元顔画像ＢＯＰ及び操作顔画像ＢＣＰも表示装置１５に表示してもよいし、更に、予測元顔画像ＡＯＰ及び予測操作顔画像ＡＣＰも表示装置１５に表示してもよい。
また、工程（Ｓ２７）において、ＣＰＵ１１は、元顔の経時変化前後の顔表面テクスチャ差異情報を元顔の顔表面テクスチャ情報に重畳させた第一重畳テクスチャ情報と、画像操作顔の経時変化前後の顔表面テクスチャ差異情報を画像操作顔の顔表面テクスチャ情報に重畳させた第二重畳テクスチャ情報とを対比可能に出力することもできる。この場合、本実施形態では、ＣＰＵ１１は、差異画像ＯＤと元顔画像ＢＯＰとを重畳させた第一重畳画像と、差異画像ＣＤと元顔画像ＢＯＰ又は操作顔画像ＢＣＰとを重畳させた第二重畳画像とを対比可能に出力することができる。
これによれば、元顔又は画像操作顔の顔表面テクスチャに経時変化前後の差異情報が重畳されるため、差異の把握性を向上させることができる。
また、工程（Ｓ２７）において、ＣＰＵ１１は、元顔の経時変化前後の顔表面テクスチャ差異情報を元顔の顔表面テクスチャ情報に重畳させた第一重畳テクスチャ情報と、画像操作顔の経時変化前後の顔表面テクスチャ差異情報を画像操作顔の顔表面テクスチャ情報に重畳させた第二重畳テクスチャ情報とを対比可能に出力することもできる。この場合、本実施形態では、ＣＰＵ１１は、差異画像ＯＤと元顔画像ＢＯＰとを重畳させた第一重畳画像と、差異画像ＣＤと元顔画像ＢＯＰ又は操作顔画像ＢＣＰとを重畳させた第二重畳画像とを対比可能に出力することができる。
これによれば、元顔又は画像操作顔の顔表面テクスチャに経時変化前後の差異情報が重畳されるため、差異の把握性を向上させることができる。
【0031】
このように、対象者に関して、元顔の経時変化前後の顔表面テクスチャの差異情報と、画像操作顔の経時変化前後の顔表面テクスチャ差異情報とを対比可能に出力することで、元顔及び画像操作顔の各々について予測される顔表面テクスチャの経時変化を分かり易く提示することができると共に、元顔と画像操作顔との顔表面テクスチャの差異が経時変化後にどのようなテクスチャの差異として現れるのかを把握し易いように提示することができる。
ところで、予測された経時変化後の顔表面テクスチャ情報（予測元顔画像ＡＯＰ及び予測操作顔画像ＡＣＰ）は、対象者にとって望ましくないテクスチャ状態を示している可能性があり、それを見た対象者は不快に感じる可能性がある。一方で、顔表面テクスチャ差異情報は、差異を示しているため、顔表面テクスチャそのものを認識させ難くなっている。
そこで、予測された経時変化後の顔表面テクスチャ情報（予測元顔画像ＡＯＰ及び予測操作顔画像ＡＣＰ）を出力せずに、両方の差異情報を出力することで、対象者に不快感を与えずに済み、上述の効果を一層高めることができる。
ところで、予測された経時変化後の顔表面テクスチャ情報（予測元顔画像ＡＯＰ及び予測操作顔画像ＡＣＰ）は、対象者にとって望ましくないテクスチャ状態を示している可能性があり、それを見た対象者は不快に感じる可能性がある。一方で、顔表面テクスチャ差異情報は、差異を示しているため、顔表面テクスチャそのものを認識させ難くなっている。
そこで、予測された経時変化後の顔表面テクスチャ情報（予測元顔画像ＡＯＰ及び予測操作顔画像ＡＣＰ）を出力せずに、両方の差異情報を出力することで、対象者に不快感を与えずに済み、上述の効果を一層高めることができる。
【0032】
また、対象者の顔が写る元顔画像ＢＯＰを準備するだけで、対象者の顔に対して直接何か施すことなく、画像処理により仮想的に、肌の赤みやしみ、光沢感、しわ、毛穴等のような顔表面テクスチャの特性を目的に沿って変化させた操作顔画像ＢＣＰを生成することができる。よって、対象者にとっては簡単に上述の効果を得ることができると共に、化粧料、美容施術（医療行為を除く）又は美容用若しくは健康用の飲食品ごとの効能を容易に把握することができる。
【0033】
［第一変形例］
上述の第一実施形態では、工程（Ｓ２５）及び工程（Ｓ２６）にて、対象者の元顔及び画像操作顔の各々の顔表面テクスチャについて経時変化前後の差異情報がそれぞれ取得されたが、経時変化前と経時変化後との各々について元顔と画像操作顔との間の顔表面テクスチャの差異情報が取得されるようにしてもよい。即ち、二次元の顔画像データに対応する元顔の経時変化前の顔表面テクスチャ情報と二次元の操作顔画像データに対応する画像操作顔の経時変化前の顔表面テクスチャ情報との差異を示す経時変化前の顔表面テクスチャ差異情報、及び元顔の経時変化後の顔表面テクスチャ情報と画像操作顔の経時変化後の顔表面テクスチャ情報との差異を示す経時変化後の顔表面テクスチャ差異情報が取得されてもよい。具体的には、工程（Ｓ２１）で取得された元顔画像ＢＯＰと工程（Ｓ２２）で取得された操作顔画像ＢＣＰとの差異情報（差異画像）が取得され、工程（Ｓ２３）で取得された予測元顔画像ＡＯＰと工程（Ｓ２４）で取得された予測操作顔画像ＡＣＰとの差異情報（差異画像）が取得される。
この場合、工程（Ｓ２７）では、第一実施形態で述べた出力に加えて又は替えて、経時変化前の顔表面テクスチャ差異情報と経時変化後の顔表面テクスチャ差異情報とが対比可能に出力される。
上述の第一実施形態では、工程（Ｓ２５）及び工程（Ｓ２６）にて、対象者の元顔及び画像操作顔の各々の顔表面テクスチャについて経時変化前後の差異情報がそれぞれ取得されたが、経時変化前と経時変化後との各々について元顔と画像操作顔との間の顔表面テクスチャの差異情報が取得されるようにしてもよい。即ち、二次元の顔画像データに対応する元顔の経時変化前の顔表面テクスチャ情報と二次元の操作顔画像データに対応する画像操作顔の経時変化前の顔表面テクスチャ情報との差異を示す経時変化前の顔表面テクスチャ差異情報、及び元顔の経時変化後の顔表面テクスチャ情報と画像操作顔の経時変化後の顔表面テクスチャ情報との差異を示す経時変化後の顔表面テクスチャ差異情報が取得されてもよい。具体的には、工程（Ｓ２１）で取得された元顔画像ＢＯＰと工程（Ｓ２２）で取得された操作顔画像ＢＣＰとの差異情報（差異画像）が取得され、工程（Ｓ２３）で取得された予測元顔画像ＡＯＰと工程（Ｓ２４）で取得された予測操作顔画像ＡＣＰとの差異情報（差異画像）が取得される。
この場合、工程（Ｓ２７）では、第一実施形態で述べた出力に加えて又は替えて、経時変化前の顔表面テクスチャ差異情報と経時変化後の顔表面テクスチャ差異情報とが対比可能に出力される。
【0034】
また、上述の第一実施形態及び第一変形例では、工程（Ｓ２７）において差異情報が対比可能に出力されたが、差異情報に加えて又は替えて、経時変化後の元顔及び画像操作顔の顔表面テクスチャ情報どうしが対比可能に出力されてもよい。
図３は、第一実施形態に係る顔経時変化予測方法の変形例に関する処理の流れを示す図である。図３の例では、予測元顔画像ＡＯＰと予測操作顔画像ＡＣＰとが対比可能に出力される。
このように、工程（Ｓ２７）では、経時変化後の元顔及び画像操作顔に関する少なくとも顔表面テクスチャを対比可能な情報が出力されればよい。
図３は、第一実施形態に係る顔経時変化予測方法の変形例に関する処理の流れを示す図である。図３の例では、予測元顔画像ＡＯＰと予測操作顔画像ＡＣＰとが対比可能に出力される。
このように、工程（Ｓ２７）では、経時変化後の元顔及び画像操作顔に関する少なくとも顔表面テクスチャを対比可能な情報が出力されればよい。
【0035】
［第二実施形態］
上述の第一実施形態及びその変形例では、対象者の二次元顔画像データ（元顔画像ＢＯＰ）に基づいて、顔表面テクスチャ情報の経時変化予測及び顔表面テクスチャ情報間の差異の取得が行われた。
第二実施形態では、顔表面テクスチャ情報に加えて、対象者の三次元の顔形状情報が処理対象とされる。以下、第二実施形態に係る顔経時変化予測方法（以下、第二方法と表記する）について、第一実施形態と異なる内容を中心に説明する。以下の説明では、第一実施形態と同様の内容については適宜省略する。
上述の第一実施形態及びその変形例では、対象者の二次元顔画像データ（元顔画像ＢＯＰ）に基づいて、顔表面テクスチャ情報の経時変化予測及び顔表面テクスチャ情報間の差異の取得が行われた。
第二実施形態では、顔表面テクスチャ情報に加えて、対象者の三次元の顔形状情報が処理対象とされる。以下、第二実施形態に係る顔経時変化予測方法（以下、第二方法と表記する）について、第一実施形態と異なる内容を中心に説明する。以下の説明では、第一実施形態と同様の内容については適宜省略する。
【0036】
図４及び図５は、第二実施形態に係る顔経時変化予測方法の処理の流れを示す図であり、図４は前半の流れを示し、図５は後半の流れを示す。
第二実施形態で利用されるＡＩモデルは、時間経過前後の二次元の顔画像データセット及び三次元の顔形状情報セットを複数含む教師データを用いた機械学習により得られ、二次元の顔画像データから、経時変化後における三次元の顔形状情報及びその顔形状情報に適合する顔表面テクスチャ情報を予測可能である。
ここで「ＡＩモデルが経時変化後の顔形状情報及び顔表面テクスチャ情報を予測可能である」とは、ＡＩモデルから出力される情報に基づいて経時変化後の顔形状情報及び顔表面テクスチャ情報を取得することができることを意味する。
第二実施形態で用いられる三次元の顔形状情報は、顔の三次元形状を示す情報であればよく、その形式等は制限されない。但し、当該三次元の顔形状情報は、統計的な処理を可能とするために、どの個体のデータも同数の同じトポロジーのデータ点で表現するべく、モデリングが施された情報とされることが好ましい。更には、当該三次元の顔形状情報は、各データ点が解剖学的に同じ意味をもつよう定義された相同モデルで表現されることがより好ましい。
このため、第二実施形態における三次元の顔形状情報は、各個人の顔形状を解剖学的に対応付けられた同一頂点数及び同一位相幾何構造のポリゴンで標準化して表現する相同モデルであり、三次元座標データで示される。以下の説明では、三次元の顔形状情報を相同モデルと表記する場合もある。
第二実施形態で利用されるＡＩモデルは、時間経過前後の二次元の顔画像データセット及び三次元の顔形状情報セットを複数含む教師データを用いた機械学習により得られ、二次元の顔画像データから、経時変化後における三次元の顔形状情報及びその顔形状情報に適合する顔表面テクスチャ情報を予測可能である。
ここで「ＡＩモデルが経時変化後の顔形状情報及び顔表面テクスチャ情報を予測可能である」とは、ＡＩモデルから出力される情報に基づいて経時変化後の顔形状情報及び顔表面テクスチャ情報を取得することができることを意味する。
第二実施形態で用いられる三次元の顔形状情報は、顔の三次元形状を示す情報であればよく、その形式等は制限されない。但し、当該三次元の顔形状情報は、統計的な処理を可能とするために、どの個体のデータも同数の同じトポロジーのデータ点で表現するべく、モデリングが施された情報とされることが好ましい。更には、当該三次元の顔形状情報は、各データ点が解剖学的に同じ意味をもつよう定義された相同モデルで表現されることがより好ましい。
このため、第二実施形態における三次元の顔形状情報は、各個人の顔形状を解剖学的に対応付けられた同一頂点数及び同一位相幾何構造のポリゴンで標準化して表現する相同モデルであり、三次元座標データで示される。以下の説明では、三次元の顔形状情報を相同モデルと表記する場合もある。
【0037】
第二実施形態におけるＡＩモデルは、図４に示されるように、三次元予測モデル、テクスチャ経時変化モデル及び形状経時変化モデルを少なくとも含む。
三次元予測モデルは、二次元の顔画像データとそれに対応する三次元の顔形状情報（相同モデル）とのペアを教師データとする機械学習により得ることができ、二次元の顔画像データから、三次元の顔形状情報（相同モデル）を予測可能である。この三次元予測モデルのデータ構造、生成手法や学習手法には、周知の様々な手法が採用可能であり、例えば、上述の特許文献２で開示される手法で生成された三次元予測モデルが利用可能である。
形状経時変化モデルは、複数人の母集団における時間経過前後の同一人の三次元の顔形状情報（相同モデル）ペアを教師データとする機械学習により得ることができ、三次元予測モデルで予測された三次元の顔形状情報（相同モデル）から経時変化後における三次元の顔形状情報（相同モデル）を予測可能である。この形状経時変化モデルのデータ構造、生成手法や学習手法には、周知の様々な手法が採用可能であり、例えば、上述の特許文献２で開示される手法で生成された三次元化予測モデルが利用可能である。
テクスチャ経時変化モデルは、上述の第一実施形態におけるテクスチャ経時変化モデルと同様である。但し、第二実施形態におけるテクスチャ経時変化モデルは、当該母集団に含まれる各個人の顔表面テクスチャを示しかつその顔の相同モデルに適応するように正規化された顔表面テクスチャ情報（顔画像）を教師データとして用いる機械学習により得られており、そのような顔表面テクスチャ情報（顔画像）から経時変化後の顔表面テクスチャ情報を予測可能である。
第二実施形態におけるテクスチャ経時変化モデル及び形状経時変化モデルにより予測される経時変化については、第一実施形態で述べたとおりであり、年齢、季節、日間、朝夕等の時間経過に伴う変化であり、その経過時間の長さは制限されない。
三次元予測モデルは、二次元の顔画像データとそれに対応する三次元の顔形状情報（相同モデル）とのペアを教師データとする機械学習により得ることができ、二次元の顔画像データから、三次元の顔形状情報（相同モデル）を予測可能である。この三次元予測モデルのデータ構造、生成手法や学習手法には、周知の様々な手法が採用可能であり、例えば、上述の特許文献２で開示される手法で生成された三次元予測モデルが利用可能である。
形状経時変化モデルは、複数人の母集団における時間経過前後の同一人の三次元の顔形状情報（相同モデル）ペアを教師データとする機械学習により得ることができ、三次元予測モデルで予測された三次元の顔形状情報（相同モデル）から経時変化後における三次元の顔形状情報（相同モデル）を予測可能である。この形状経時変化モデルのデータ構造、生成手法や学習手法には、周知の様々な手法が採用可能であり、例えば、上述の特許文献２で開示される手法で生成された三次元化予測モデルが利用可能である。
テクスチャ経時変化モデルは、上述の第一実施形態におけるテクスチャ経時変化モデルと同様である。但し、第二実施形態におけるテクスチャ経時変化モデルは、当該母集団に含まれる各個人の顔表面テクスチャを示しかつその顔の相同モデルに適応するように正規化された顔表面テクスチャ情報（顔画像）を教師データとして用いる機械学習により得られており、そのような顔表面テクスチャ情報（顔画像）から経時変化後の顔表面テクスチャ情報を予測可能である。
第二実施形態におけるテクスチャ経時変化モデル及び形状経時変化モデルにより予測される経時変化については、第一実施形態で述べたとおりであり、年齢、季節、日間、朝夕等の時間経過に伴う変化であり、その経過時間の長さは制限されない。
【0038】
第二方法は、図４及び図５に示されるように、工程（Ｓ４１）から工程（Ｓ５１）を含んでいる。
工程（Ｓ４１）及び工程（Ｓ４２）は、第一実施形態における工程（Ｓ２１）及び工程（Ｓ２２）と同様である。即ち、工程（Ｓ４１）は、対象者の二次元の顔画像データ（元顔画像ＢＯＰ）を取得するデータ取得工程であり、工程（Ｓ４２）は、工程（Ｓ４１）で取得された二次元の顔画像データに対して特定画像処理を適用することにより、対象者の画像操作顔を示す二次元の操作顔画像データ（操作顔画像ＢＣＰ）を取得する画像操作工程である。
工程（Ｓ４１）及び工程（Ｓ４２）は、第一実施形態における工程（Ｓ２１）及び工程（Ｓ２２）と同様である。即ち、工程（Ｓ４１）は、対象者の二次元の顔画像データ（元顔画像ＢＯＰ）を取得するデータ取得工程であり、工程（Ｓ４２）は、工程（Ｓ４１）で取得された二次元の顔画像データに対して特定画像処理を適用することにより、対象者の画像操作顔を示す二次元の操作顔画像データ（操作顔画像ＢＣＰ）を取得する画像操作工程である。
【0039】
工程（Ｓ４３）は、工程（Ｓ４１）で取得された二次元の顔画像データ（元顔画像ＢＯＰ）をＡＩモデルの三次元予測モデルに適用することで予測された対象者の元顔の経時変化前の顔形状情報及び顔表面テクスチャ情報を含む第一の三次元顔情報を取得する工程である。
本実施形態では、工程（Ｓ４３）では、第一の三次元顔情報を用いて元顔テクスチャ画像ＢＯＴ及び元顔相同モデルＢＯＦが生成される。具体的には、まず、三次元予測モデルを用いて元顔画像ＢＯＰから元顔相同モデルＢＯＦが生成される。元顔相同モデルＢＯＦは、対象者の元顔に関する三次元の顔形状情報であり、メッシュデータ（三次元座標データ）として示される。続いて、その生成された元顔相同モデルＢＯＦを用いて元顔画像ＢＯＰから元顔テクスチャ画像ＢＯＴが生成される。元顔テクスチャ画像ＢＯＴは、対象者の元顔に関する顔表面テクスチャ情報であり、元顔相同モデルＢＯＦに適応するように正規化された画像情報である。この正規化では、例えば、元顔画像ＢＯＰの各特徴点（特定パーツ）の位置が元顔相同モデルＢＯＦに合わされたり、元顔画像ＢＯＰに含まれていないテクスチャ情報の補完や円柱座標系への変換等が行われる。
本実施形態では、工程（Ｓ４３）では、第一の三次元顔情報を用いて元顔テクスチャ画像ＢＯＴ及び元顔相同モデルＢＯＦが生成される。具体的には、まず、三次元予測モデルを用いて元顔画像ＢＯＰから元顔相同モデルＢＯＦが生成される。元顔相同モデルＢＯＦは、対象者の元顔に関する三次元の顔形状情報であり、メッシュデータ（三次元座標データ）として示される。続いて、その生成された元顔相同モデルＢＯＦを用いて元顔画像ＢＯＰから元顔テクスチャ画像ＢＯＴが生成される。元顔テクスチャ画像ＢＯＴは、対象者の元顔に関する顔表面テクスチャ情報であり、元顔相同モデルＢＯＦに適応するように正規化された画像情報である。この正規化では、例えば、元顔画像ＢＯＰの各特徴点（特定パーツ）の位置が元顔相同モデルＢＯＦに合わされたり、元顔画像ＢＯＰに含まれていないテクスチャ情報の補完や円柱座標系への変換等が行われる。
【0040】
工程（Ｓ４４）は、工程（Ｓ４２）で取得された二次元の操作顔画像データ（操作顔画像ＢＣＰ）をＡＩモデルの三次元予測モデルに適用することで予測された対象者の画像操作顔の経時変化前の顔形状情報及び顔表面テクスチャ情報を含む第二の三次元顔情報を取得する工程である。
本実施形態では、工程（Ｓ４４）では、第二の三次元顔情報を用いて操作顔テクスチャ画像ＢＣＴ及び操作顔相同モデルＢＣＦが生成される。具体的には、まず、三次元予測モデルを用いて操作顔画像ＢＣＰから操作顔相同モデルＢＣＦが生成される。操作顔相同モデルＢＣＦは、対象者の画像操作顔に関する三次元の顔形状情報であり、メッシュデータ（三次元座標データ）として示される。続いて、その生成された操作顔相同モデルＢＣＦを用いて操作顔画像ＢＣＰから操作顔テクスチャ画像ＢＣＴが生成される。操作顔テクスチャ画像ＢＣＴは、対象者の画像操作顔に関する顔表面テクスチャ情報であり、操作顔相同モデルＢＣＦに適応するように正規化された画像情報である。この正規化では、例えば、操作顔画像ＢＣＰの各特徴点（特定パーツ）の位置が操作顔相同モデルＢＣＦに合わされたり、操作顔画像ＢＣＰに含まれていないテクスチャ情報の補完や円柱座標系への変換等が行われる。
本実施形態では、工程（Ｓ４４）では、第二の三次元顔情報を用いて操作顔テクスチャ画像ＢＣＴ及び操作顔相同モデルＢＣＦが生成される。具体的には、まず、三次元予測モデルを用いて操作顔画像ＢＣＰから操作顔相同モデルＢＣＦが生成される。操作顔相同モデルＢＣＦは、対象者の画像操作顔に関する三次元の顔形状情報であり、メッシュデータ（三次元座標データ）として示される。続いて、その生成された操作顔相同モデルＢＣＦを用いて操作顔画像ＢＣＰから操作顔テクスチャ画像ＢＣＴが生成される。操作顔テクスチャ画像ＢＣＴは、対象者の画像操作顔に関する顔表面テクスチャ情報であり、操作顔相同モデルＢＣＦに適応するように正規化された画像情報である。この正規化では、例えば、操作顔画像ＢＣＰの各特徴点（特定パーツ）の位置が操作顔相同モデルＢＣＦに合わされたり、操作顔画像ＢＣＰに含まれていないテクスチャ情報の補完や円柱座標系への変換等が行われる。
【0041】
このように、元顔テクスチャ画像ＢＯＴ及び元顔相同モデルＢＯＦは、ＡＩモデルの三次元予測モデルを用いて対象者の元顔の二次元の顔画像データから生成された、対象者の元顔の経時変化前の三次元の顔情報であり、操作顔テクスチャ画像ＢＣＴ及び操作顔相同モデルＢＣＦは、その三次元予測モデルを用いて対象者の画像操作顔の二次元の顔画像データ（操作顔画像データ）から生成された、対象者の画像操作顔の経時変化前の三次元の顔情報である。
【0042】
工程（Ｓ４５）は、工程（Ｓ４３）で取得された対象者の元顔の経時変化前の顔形状情報及び顔表面テクスチャ情報を含む第一の三次元顔情報から、ＡＩモデルを用いて、対象者の元顔の経時変化後の顔形状情報及び顔表面テクスチャ情報を含む第一経時変化顔情報を取得する工程である。本実施形態では、工程（Ｓ４３）で取得された元顔テクスチャ画像ＢＯＴをＡＩモデルのテクスチャ経時変化モデルに適用することで、予測元顔テクスチャ画像ＡＯＴが生成され、工程（Ｓ４３）で取得された元顔相同モデルＢＯＦをＡＩモデルの形状経時変化モデルに適用することで、予測元顔相同モデルＡＯＦが生成される。
【0043】
工程（Ｓ４６）は、工程（Ｓ４４）で取得された対象者の画像操作顔の経時変化前の顔形状情報及び顔表面テクスチャ情報を含む第二の三次元顔情報から、ＡＩモデルを用いて、対象者の画像操作顔の経時変化後の顔形状情報及び顔表面テクスチャ情報を含む第二経時変化顔情報を取得する工程である。本実施形態では、工程（Ｓ４４）で取得された操作顔テクスチャ画像ＢＣＴをＡＩモデルのテクスチャ経時変化モデルに適用することで、予測操作顔テクスチャ画像ＡＣＴが生成され、工程（Ｓ４４）で取得された操作顔相同モデルＢＣＦをＡＩモデルの形状経時変化モデルに適用することで、予測操作顔相同モデルＡＣＦが生成される。
【0044】
工程（Ｓ４７）は、対象者の元顔の経時変化前後の顔表面テクスチャ差異情報を取得する工程であり、工程（Ｓ４８）は、対象者の画像操作顔の経時変化前後の顔表面テクスチャ差異情報を取得する工程である。本実施形態において、工程（Ｓ４７）では、工程（Ｓ４３）で取得された元顔テクスチャ画像ＢＯＴと工程（Ｓ４５）で取得された予測元顔テクスチャ画像ＡＯＴとの差異情報が取得され、工程（Ｓ４８）では、工程（Ｓ４４）で取得された操作顔テクスチャ画像ＢＣＴと工程（Ｓ４６）で取得された予測操作顔テクスチャ画像ＡＣＴとの差異情報が取得される。
工程（Ｓ４７）及び工程（Ｓ４８）で取得される顔表面テクスチャ差異情報は、顔表面テクスチャ間の差異を示す情報であればよく、本実施形態では差異画像データが当該差異情報として取得される。以降、工程（Ｓ４７）で取得される差異情報は差異テクスチャ画像ＴＯＤと表記され、工程（Ｓ４８）で取得される差異情報は差異テクスチャ画像ＴＣＤと表記される場合がある。
工程（Ｓ４７）及び工程（Ｓ４８）における差異情報の取得手法については、第一実施形態における工程（Ｓ２５）及び工程（Ｓ２６）と同様である。
工程（Ｓ４７）及び工程（Ｓ４８）で取得される顔表面テクスチャ差異情報は、顔表面テクスチャ間の差異を示す情報であればよく、本実施形態では差異画像データが当該差異情報として取得される。以降、工程（Ｓ４７）で取得される差異情報は差異テクスチャ画像ＴＯＤと表記され、工程（Ｓ４８）で取得される差異情報は差異テクスチャ画像ＴＣＤと表記される場合がある。
工程（Ｓ４７）及び工程（Ｓ４８）における差異情報の取得手法については、第一実施形態における工程（Ｓ２５）及び工程（Ｓ２６）と同様である。
【0045】
工程（Ｓ４９）は、工程（Ｓ４７）で取得された対象者の元顔の経時変化前後の顔表面テクスチャ差異情報（差異テクスチャ画像ＴＯＤ）を、工程（Ｓ４３）で取得された元顔相同モデルＢＯＦ又は工程（Ｓ４５）で取得された予測元顔相同モデルＡＯＦと合成する工程である。
工程（Ｓ５０）は、工程（Ｓ４８）で取得された対象者の画像操作顔の経時変化前後の顔表面テクスチャ差異情報（差異テクスチャ画像ＴＣＤ）を、工程（Ｓ４４）で取得された操作顔相同モデルＢＣＦ又は工程（Ｓ４６）で取得された予測操作顔相同モデルＡＣＦと合成する工程である。
これにより、工程（Ｓ４９）で生成される三次元の顔画像データは、元顔の経時変化前の三次元顔形状又は元顔の経時変化後の三次元顔形状を持ち、元顔の経時変化前後の顔表面テクスチャの差異情報をテクスチャ情報として持つ三次元の顔画像を示す。この顔画像データで示される顔画像は、三次元差異画像ＤＯＤと表記される。
一方で、工程（Ｓ５０）で生成される三次元の顔画像データは、画像操作顔の経時変化前の三次元顔形状又は画像操作顔の経時変化後の三次元顔形状を持ち、画像操作顔の経時変化前後の顔表面テクスチャの差異情報をテクスチャ情報として持つ三次元の顔画像を示す。この顔画像データで示される顔画像は、三次元差異画像ＤＣＤと表記される。
工程（Ｓ５０）は、工程（Ｓ４８）で取得された対象者の画像操作顔の経時変化前後の顔表面テクスチャ差異情報（差異テクスチャ画像ＴＣＤ）を、工程（Ｓ４４）で取得された操作顔相同モデルＢＣＦ又は工程（Ｓ４６）で取得された予測操作顔相同モデルＡＣＦと合成する工程である。
これにより、工程（Ｓ４９）で生成される三次元の顔画像データは、元顔の経時変化前の三次元顔形状又は元顔の経時変化後の三次元顔形状を持ち、元顔の経時変化前後の顔表面テクスチャの差異情報をテクスチャ情報として持つ三次元の顔画像を示す。この顔画像データで示される顔画像は、三次元差異画像ＤＯＤと表記される。
一方で、工程（Ｓ５０）で生成される三次元の顔画像データは、画像操作顔の経時変化前の三次元顔形状又は画像操作顔の経時変化後の三次元顔形状を持ち、画像操作顔の経時変化前後の顔表面テクスチャの差異情報をテクスチャ情報として持つ三次元の顔画像を示す。この顔画像データで示される顔画像は、三次元差異画像ＤＣＤと表記される。
【0046】
工程（Ｓ５１）は、工程（Ｓ４９）で取得された三次元差異画像ＤＯＤと工程（Ｓ５０）で取得された三次元差異画像ＤＣＤとを対比可能に出力する出力工程である。工程（Ｓ５１）での出力手法及び出力形態は、第一実施形態における工程（Ｓ２７）と同様である。
このように、元顔及び画像操作顔の各々について、経時変化前後の顔表面テクスチャの差異情報を三次元の顔形状で示す三次元差異画像ＤＯＤ及びＤＣＤとして出力することで、経時変化前後の顔表面テクスチャの差異を把握し易くすることができる。
ＣＰＵ１１は、当該三次元差異画像ＤＯＤ及びＤＣＤを多視点映像として出力することができる。多視点映像としては、例えば、入力装置１６を用いたユーザ操作により自由に視点を変えることができる自由視点画像や、三次元ディスプレイ、仮想現実（ＶＲ）、拡張現実（ＡＲ）等を用いた立体表示等がある。
このように、当該差異情報を多視点映像として出力することで、様々な視点で顔表面テクスチャの差異を確認することができる。
結果、元顔と画像操作顔との顔表面テクスチャの差異が経時変化後にどのようなテクスチャの差異として現れるのかを把握し易いように提示することができる。
また、三次元の顔画像のテクスチャとして予測された経時変化後の顔表面テクスチャ情報（予測元顔テクスチャ画像ＡＯＴ及び予測操作顔テクスチャ画像ＡＣＴ）をそのまま出力することなく、差異情報として出力することで、対象者に不快感を与える可能性を低減することができる。
このように、元顔及び画像操作顔の各々について、経時変化前後の顔表面テクスチャの差異情報を三次元の顔形状で示す三次元差異画像ＤＯＤ及びＤＣＤとして出力することで、経時変化前後の顔表面テクスチャの差異を把握し易くすることができる。
ＣＰＵ１１は、当該三次元差異画像ＤＯＤ及びＤＣＤを多視点映像として出力することができる。多視点映像としては、例えば、入力装置１６を用いたユーザ操作により自由に視点を変えることができる自由視点画像や、三次元ディスプレイ、仮想現実（ＶＲ）、拡張現実（ＡＲ）等を用いた立体表示等がある。
このように、当該差異情報を多視点映像として出力することで、様々な視点で顔表面テクスチャの差異を確認することができる。
結果、元顔と画像操作顔との顔表面テクスチャの差異が経時変化後にどのようなテクスチャの差異として現れるのかを把握し易いように提示することができる。
また、三次元の顔画像のテクスチャとして予測された経時変化後の顔表面テクスチャ情報（予測元顔テクスチャ画像ＡＯＴ及び予測操作顔テクスチャ画像ＡＣＴ）をそのまま出力することなく、差異情報として出力することで、対象者に不快感を与える可能性を低減することができる。
【0047】
ところで、図６に示されるように、上述のように取得された各種テクスチャ画像及び各種相同モデルを合成することで、様々な三次元の顔画像が生成可能である。図６は、各種テクスチャ画像及び各種相同モデルの合成イメージを示す図である。
具体的には、元顔テクスチャ画像ＢＯＴ及び元顔相同モデルＢＯＦを合成することで、対象者の元顔の経時変化前の三次元顔画像ＢＯＤが生成可能であり、操作顔テクスチャ画像ＢＣＴ及び操作顔相同モデルＢＣＦを合成することで、対象者の画像操作顔の経時変化前の三次元顔画像ＢＣＤが生成可能である。
また、予測元顔テクスチャ画像ＡＯＴ及び予測元顔相同モデルＡＯＦを合成することで、対象者の元顔の経時変化後の三次元顔画像ＡＯＤが生成可能であり、予測操作顔テクスチャ画像ＡＣＴ及び予測操作顔相同モデルＡＣＦを合成することで、対象者の画像操作顔の経時変化後の三次元顔画像ＡＣＤが生成可能である。
具体的には、元顔テクスチャ画像ＢＯＴ及び元顔相同モデルＢＯＦを合成することで、対象者の元顔の経時変化前の三次元顔画像ＢＯＤが生成可能であり、操作顔テクスチャ画像ＢＣＴ及び操作顔相同モデルＢＣＦを合成することで、対象者の画像操作顔の経時変化前の三次元顔画像ＢＣＤが生成可能である。
また、予測元顔テクスチャ画像ＡＯＴ及び予測元顔相同モデルＡＯＦを合成することで、対象者の元顔の経時変化後の三次元顔画像ＡＯＤが生成可能であり、予測操作顔テクスチャ画像ＡＣＴ及び予測操作顔相同モデルＡＣＦを合成することで、対象者の画像操作顔の経時変化後の三次元顔画像ＡＣＤが生成可能である。
【0048】
ＣＰＵ１１は、三次元差異画像ＤＯＤ及びＤＣＤに加えて、経時変化前の元顔及び画像操作顔の三次元顔画像ＢＯＤ及びＢＣＤを対比可能に表示装置１５に表示してもよいし、更に、経時変化後の元顔及び画像操作顔の三次元顔画像ＡＯＤ及びＡＣＤを対比可能に表示装置１５に表示してもよい。
また、工程（Ｓ５１）において、ＣＰＵ１１は、元顔の経時変化前後の顔表面テクスチャ差異情報（差異テクスチャ画像ＴＯＤ）を元顔の顔表面テクスチャ情報（元顔テクスチャ画像ＢＯＴ又は予測元顔テクスチャ画像ＡＯＴ）に重畳させて、元顔の三次元顔形状情報（元顔相同モデルＢＯＦ又は予測元顔相同モデルＡＯＦ）で三次元化した第一重畳差異顔画像と、画像操作顔の経時変化前後の顔表面テクスチャ差異情報（差異テクスチャ画像ＴＣＤ）を画像操作顔の顔表面テクスチャ情報（操作顔テクスチャ画像ＢＣＴ又は予測操作顔テクスチャ画像ＡＣＴ）に重畳させて、画像操作顔の三次元顔形状情報（操作顔相同モデルＢＣＦ又は予測操作顔相同モデルＡＣＦ）で三次元化した第二重畳差異顔画像とを対比可能に出力することもできる。
これによれば、元顔又は画像操作顔の顔表面テクスチャに経時変化前後の差異情報が重畳されるため、差異の把握性を向上させることができる。
また、工程（Ｓ５１）において、ＣＰＵ１１は、元顔の経時変化前後の顔表面テクスチャ差異情報（差異テクスチャ画像ＴＯＤ）を元顔の顔表面テクスチャ情報（元顔テクスチャ画像ＢＯＴ又は予測元顔テクスチャ画像ＡＯＴ）に重畳させて、元顔の三次元顔形状情報（元顔相同モデルＢＯＦ又は予測元顔相同モデルＡＯＦ）で三次元化した第一重畳差異顔画像と、画像操作顔の経時変化前後の顔表面テクスチャ差異情報（差異テクスチャ画像ＴＣＤ）を画像操作顔の顔表面テクスチャ情報（操作顔テクスチャ画像ＢＣＴ又は予測操作顔テクスチャ画像ＡＣＴ）に重畳させて、画像操作顔の三次元顔形状情報（操作顔相同モデルＢＣＦ又は予測操作顔相同モデルＡＣＦ）で三次元化した第二重畳差異顔画像とを対比可能に出力することもできる。
これによれば、元顔又は画像操作顔の顔表面テクスチャに経時変化前後の差異情報が重畳されるため、差異の把握性を向上させることができる。
【0049】
［第二変形例］
上述の第二実施形態では、工程（Ｓ５１）において三次元差異画像ＤＯＤと三次元差異画像ＤＣＤとが対比可能に出力されたが、そのような三次元差異画像に替えて、対象者の元顔の経時変化後の三次元顔画像ＡＯＤと対象者の画像操作顔の経時変化後の三次元顔画像ＡＣＤとが対比可能に出力されてもよい（図６参照）。この場合、三次元顔画像ＡＯＤ及びＡＣＤはそれぞれ多視点映像として表示装置１５に表示されてもよい。
また、予測元顔テクスチャ画像ＡＯＴと予測操作顔テクスチャ画像ＡＣＴとが対比可能であり、かつ予測元顔相同モデルＡＯＦと予測操作顔相同モデルＡＣＦとが対比可能となるようにそれぞれ表示装置１５に表示させてもよい。
これによれば、工程（Ｓ４７）及び工程（Ｓ４８）を省くことができ、経時変化後の元顔及び画像操作顔に関する顔表面テクスチャどうし及び顔形状どうしをそれぞれ対比することができる。
上述の第二実施形態では、工程（Ｓ５１）において三次元差異画像ＤＯＤと三次元差異画像ＤＣＤとが対比可能に出力されたが、そのような三次元差異画像に替えて、対象者の元顔の経時変化後の三次元顔画像ＡＯＤと対象者の画像操作顔の経時変化後の三次元顔画像ＡＣＤとが対比可能に出力されてもよい（図６参照）。この場合、三次元顔画像ＡＯＤ及びＡＣＤはそれぞれ多視点映像として表示装置１５に表示されてもよい。
また、予測元顔テクスチャ画像ＡＯＴと予測操作顔テクスチャ画像ＡＣＴとが対比可能であり、かつ予測元顔相同モデルＡＯＦと予測操作顔相同モデルＡＣＦとが対比可能となるようにそれぞれ表示装置１５に表示させてもよい。
これによれば、工程（Ｓ４７）及び工程（Ｓ４８）を省くことができ、経時変化後の元顔及び画像操作顔に関する顔表面テクスチャどうし及び顔形状どうしをそれぞれ対比することができる。
【0050】
更に言えば、経時変化前と経時変化後との各々について元顔と画像操作顔との間の顔表面テクスチャ情報の差異情報及び顔形状情報の差異情報が取得されるようにしてもよい。本実施形態では、予測元顔テクスチャ画像ＡＯＴと予測操作顔テクスチャ画像ＡＣＴとの差異情報が取得され、元顔テクスチャ画像ＢＯＴと操作顔テクスチャ画像ＢＣＴとの差異情報が取得され、それら差異情報が対比可能に出力されてもよい。
【0051】
［第三変形例］
また、図７に示されるように、顔表面テクスチャ差異情報に加えて又は替えて、経時変化前後の三次元顔形状情報の差異情報が取得されるようにしてもよい。図７は、第三変形例に係る顔経時変化予測方法の処理の流れの一部を示す図である。
第三変形例では、対象者の元顔の経時変化前後の顔形状の差異情報が生成され（Ｓ７１）、対象者の画像操作顔の経時変化前後の顔形状の差異情報が生成される（Ｓ７２）。本実施形態では、工程（Ｓ７１）において元顔相同モデルＢＯＦと予測元顔相同モデルＡＯＦとの差異情報が生成され、工程（Ｓ７２）において操作顔相同モデルＢＣＦと予測操作顔相同モデルＡＣＦとの差異情報が生成される。
また、図７に示されるように、顔表面テクスチャ差異情報に加えて又は替えて、経時変化前後の三次元顔形状情報の差異情報が取得されるようにしてもよい。図７は、第三変形例に係る顔経時変化予測方法の処理の流れの一部を示す図である。
第三変形例では、対象者の元顔の経時変化前後の顔形状の差異情報が生成され（Ｓ７１）、対象者の画像操作顔の経時変化前後の顔形状の差異情報が生成される（Ｓ７２）。本実施形態では、工程（Ｓ７１）において元顔相同モデルＢＯＦと予測元顔相同モデルＡＯＦとの差異情報が生成され、工程（Ｓ７２）において操作顔相同モデルＢＣＦと予測操作顔相同モデルＡＣＦとの差異情報が生成される。
【0052】
相同モデル間の差異は、例えば、法線距離を用いる方法、最短距離を用いる方法などを用いて算出することができる。法線距離を用いる手法では、一方の相同モデルのポリゴン頂点からの平均法線と他方の相同モデルの面（三角形）との交点を算出し、最短の交点までの距離が算出される。最短距離を用いる手法では、一方の相同モデルのポリゴン頂点から他方の相同モデルのポリゴン頂点の距離を算出し、最短距離の頂点が探索される。但し、相同モデル間の差異の取得手法はこのような例に限定されず、周知のあらゆる手法が利用可能である。
【0053】
このように生成された顔形状の差異情報は、画像情報とすることができるため、元顔又は画像操作顔の相同モデルと合成することで、三次元の顔画像として出力することができる。また、顔形状の差異情報を示す三次元の顔画像は、多視点映像として表示装置１５に表示させることもできる。
本実施形態では、工程（Ｓ７１）で生成された元顔相同モデルＢＯＦと予測元顔相同モデルＡＯＦとの差異情報が、元顔相同モデルＢＯＦ又は予測元顔相同モデルＡＯＦと合成されて、三次元の顔形状差異画像ＤＯＫが生成される（Ｓ７３）。また、工程（Ｓ７２）で生成された操作顔相同モデルＢＣＦと予測操作顔相同モデルＡＣＦとの差異情報が、操作顔相同モデルＢＣＦ又は予測操作顔相同モデルＡＣＦと合成されて、三次元の顔形状差異画像ＤＣＫが生成される（Ｓ７４）。
そして、工程（Ｓ５１）では、三次元差異画像ＤＯＤ及びＤＣＤに加えて又は替えて、三次元の顔形状差異画像ＤＯＫと三次元の顔形状差異画像ＤＣＫとが対比可能に出力されてもよい。この場合、顔形状差異画像ＤＯＫ及びＤＣＫはそれぞれ多視点映像として表示装置１５に表示されてもよい。
これにより、顔表面テクスチャのみならず、顔形状の差異が経時変化後にどのような差異として現れるのかについても把握することができるようになる。
本実施形態では、工程（Ｓ７１）で生成された元顔相同モデルＢＯＦと予測元顔相同モデルＡＯＦとの差異情報が、元顔相同モデルＢＯＦ又は予測元顔相同モデルＡＯＦと合成されて、三次元の顔形状差異画像ＤＯＫが生成される（Ｓ７３）。また、工程（Ｓ７２）で生成された操作顔相同モデルＢＣＦと予測操作顔相同モデルＡＣＦとの差異情報が、操作顔相同モデルＢＣＦ又は予測操作顔相同モデルＡＣＦと合成されて、三次元の顔形状差異画像ＤＣＫが生成される（Ｓ７４）。
そして、工程（Ｓ５１）では、三次元差異画像ＤＯＤ及びＤＣＤに加えて又は替えて、三次元の顔形状差異画像ＤＯＫと三次元の顔形状差異画像ＤＣＫとが対比可能に出力されてもよい。この場合、顔形状差異画像ＤＯＫ及びＤＣＫはそれぞれ多視点映像として表示装置１５に表示されてもよい。
これにより、顔表面テクスチャのみならず、顔形状の差異が経時変化後にどのような差異として現れるのかについても把握することができるようになる。
【0054】
［その他の変形例］
第一実施形態の工程（Ｓ２２）及び第二実施形態の工程（Ｓ４２）、即ち二次元の顔画像データから、対象者の画像操作顔を示す二次元の操作顔画像データを取得する画像操作工程は、次のように変形することができる。
第一方法及び第二方法は、対象者の元顔において顔表面テクスチャを変化させる部位を特定する工程を更に含み、画像操作工程（Ｓ２２）及び（Ｓ４２）は、対象者の元顔からその特定された部位の顔表面テクスチャを変化させた画像操作顔を示す当該操作顔画像データを取得するようにしてもよい。
第一実施形態の工程（Ｓ２２）及び第二実施形態の工程（Ｓ４２）、即ち二次元の顔画像データから、対象者の画像操作顔を示す二次元の操作顔画像データを取得する画像操作工程は、次のように変形することができる。
第一方法及び第二方法は、対象者の元顔において顔表面テクスチャを変化させる部位を特定する工程を更に含み、画像操作工程（Ｓ２２）及び（Ｓ４２）は、対象者の元顔からその特定された部位の顔表面テクスチャを変化させた画像操作顔を示す当該操作顔画像データを取得するようにしてもよい。
【0055】
特定する部位は、顔の一部であれば制限されないが、例えば、目尻のシワ、ほうれい線、特定部位のシミ、鼻周りの毛穴、頬の赤みムラ等がある。
変化させる部位を特定する工程において、ＣＰＵ１１は、工程（Ｓ２１）又は工程（Ｓ４１）で取得された顔画像データに基づいて元顔を示す顔画像を表示装置１５に表示し、ユーザ操作で選択された部位を顔表面テクスチャを変化させる部位として特定してもよい。また、ＣＰＵ１１は、化粧料、美容施術（医療行為を除く）、美容用若しくは健康用の飲食品等のリストを表示装置１５に表示し、その中からユーザ操作で選択された施術又は製品で効果が出る部位を顔表面テクスチャを変化させる部位として特定してもよい。
変化させる部位を特定する工程において、ＣＰＵ１１は、工程（Ｓ２１）又は工程（Ｓ４１）で取得された顔画像データに基づいて元顔を示す顔画像を表示装置１５に表示し、ユーザ操作で選択された部位を顔表面テクスチャを変化させる部位として特定してもよい。また、ＣＰＵ１１は、化粧料、美容施術（医療行為を除く）、美容用若しくは健康用の飲食品等のリストを表示装置１５に表示し、その中からユーザ操作で選択された施術又は製品で効果が出る部位を顔表面テクスチャを変化させる部位として特定してもよい。
【0056】
また、ＣＰＵ１１は、ＡＩモデルを用いて取得された、対象者の元顔の経時変化後の顔表面テクスチャ情報を少なくとも用いて、顔表面テクスチャを変化させる部位を特定することもできる。この場合、第一方法では、工程（Ｓ２１）の後、工程（Ｓ２２）の前に、工程（Ｓ２３）を実行し、第二方法では、工程（Ｓ４１）の後、工程（Ｓ４２）の前に、工程（Ｓ４３）及び工程（Ｓ４５）を実行する。これにより、工程（Ｓ２２）及び工程（Ｓ４２）の前に、対象者の元顔の経時変化後の顔表面テクスチャ情報（予測元顔画像ＡＯＰ又は予測元顔テクスチャ画像ＡＯＴ）が取得できる。
【0057】
当該特定方法は、対象者の元顔の経時変化後の顔表面テクスチャ情報を少なくとも用いていればよく、例えば、次のような特定方法が例示できる。
ＣＰＵ１１は、元顔の顔表面テクスチャ情報（予測元顔画像ＡＯＰ又は予測元顔テクスチャ画像ＡＯＴ）をそのまま表示装置１５に表示して、その顔表面テクスチャ情報の中からユーザ操作で選択された部位を顔表面テクスチャを変化させる部位として特定してもよい。また、第二方法では、予測元顔テクスチャ画像ＡＯＴと予測元顔相同モデルＡＯＦとを合成させた対象者の元顔の経時変化後の三次元顔画像ＡＯＤを表示装置１５に表示してもよい。
また、対象者の元顔の経時変化後の顔表面テクスチャ情報を用いて生成される、その元顔の経時変化前後の顔表面テクスチャ差異情報（差異画像ＯＤ又は差異テクスチャ画像ＴＯＤ）、或いは差異テクスチャ画像ＴＯＤを元顔相同モデルＢＯＦ又は予測元顔相同モデルＡＯＦと合成した三次元差異画像ＤＯＤを表示装置１５に表示して、ユーザに変化させる部位を選択させてもよい。
更に言えば、ＣＰＵ１１が、その顔表面テクスチャ差異情報に基づいて、顔表面テクスチャを変化させる部位を自動で特定するようにしてもよい。例えば、顔表面テクスチャ差異情報を参照することで、ＣＰＵ１１は、差異の大きい部位、或いは所定の大きさの差異が広範囲に存在している部位を検出し、その検出された部位を顔表面テクスチャを変化させる部位として特定してもよい。
このように対象者の元顔の経時変化後の顔表面テクスチャ情報を用いて、顔表面テクスチャを変化させる部位を特定することで、経時変化に大きく影響を受ける部位に関してテクスチャを変化させた操作顔画像データを取得することができる。
ＣＰＵ１１は、元顔の顔表面テクスチャ情報（予測元顔画像ＡＯＰ又は予測元顔テクスチャ画像ＡＯＴ）をそのまま表示装置１５に表示して、その顔表面テクスチャ情報の中からユーザ操作で選択された部位を顔表面テクスチャを変化させる部位として特定してもよい。また、第二方法では、予測元顔テクスチャ画像ＡＯＴと予測元顔相同モデルＡＯＦとを合成させた対象者の元顔の経時変化後の三次元顔画像ＡＯＤを表示装置１５に表示してもよい。
また、対象者の元顔の経時変化後の顔表面テクスチャ情報を用いて生成される、その元顔の経時変化前後の顔表面テクスチャ差異情報（差異画像ＯＤ又は差異テクスチャ画像ＴＯＤ）、或いは差異テクスチャ画像ＴＯＤを元顔相同モデルＢＯＦ又は予測元顔相同モデルＡＯＦと合成した三次元差異画像ＤＯＤを表示装置１５に表示して、ユーザに変化させる部位を選択させてもよい。
更に言えば、ＣＰＵ１１が、その顔表面テクスチャ差異情報に基づいて、顔表面テクスチャを変化させる部位を自動で特定するようにしてもよい。例えば、顔表面テクスチャ差異情報を参照することで、ＣＰＵ１１は、差異の大きい部位、或いは所定の大きさの差異が広範囲に存在している部位を検出し、その検出された部位を顔表面テクスチャを変化させる部位として特定してもよい。
このように対象者の元顔の経時変化後の顔表面テクスチャ情報を用いて、顔表面テクスチャを変化させる部位を特定することで、経時変化に大きく影響を受ける部位に関してテクスチャを変化させた操作顔画像データを取得することができる。
【0058】
画像操作工程（Ｓ２２）及び（Ｓ４２）では、このように特定された部位のテクスチャが変化するように、二次元の顔画像データに対して特定画像処理を適用すればよい。例えば、二次元の顔画像データで示される顔表面テクスチャの全領域の中から特定された部位に相当する局所領域を抜き出し、その局所領域に対して特定画像処理（フィルタリング等）を施すことで、特定された部位の顔表面テクスチャを変化させた操作顔画像データが取得可能である。但し、部分的に顔表面テクスチャを変化させる手法は何ら制限されない。
このように、本変形例によれば、顔の中の所望の部位に関して顔表面テクスチャの差異を作り出すことができ、この差異が経時変化後にどのようなテクスチャの差異として現れるのかを容易に把握することができるようになる。
このように、本変形例によれば、顔の中の所望の部位に関して顔表面テクスチャの差異を作り出すことができ、この差異が経時変化後にどのようなテクスチャの差異として現れるのかを容易に把握することができるようになる。
【0059】
上記の実施形態及び変形例の一部又は全部は、次のようにも特定され得る。但し、上述の実施形態及び変形例が以下の記載に制限されるものではない。
【0060】
＜１＞
時間経過前後の二次元の顔画像データセットを複数含む教師データを用いた機械学習により得られた学習済みモデルであって二次元の顔画像データから少なくとも経時変化後の顔表面テクスチャ情報を予測可能な学習済みモデルを利用することができる一以上のプロセッサが、
対象者の二次元の顔画像データを取得するデータ取得工程と、
前記取得された二次元の顔画像データを前記学習済みモデルに適用することで予測された前記対象者の元顔の経時変化後の顔表面テクスチャ情報を含む第一経時変化顔情報を取得する第一予測工程と、
前記取得された二次元の顔画像データに対して、該顔画像データに写る前記対象者の元顔から少なくとも一部の顔表面テクスチャを変化させる特定画像処理を適用することにより、前記対象者の画像操作顔を示す二次元の操作顔画像データを取得する画像操作工程と、
前記取得された二次元の操作顔画像データを前記学習済みモデルに適用することで予測された前記対象者の画像操作顔の経時変化後の顔表面テクスチャ情報を含む第二経時変化顔情報を取得する第二予測工程と、
前記第一経時変化顔情報及び前記第二経時変化顔情報を用いて、経時変化後の前記元顔及び前記画像操作顔に関する少なくとも顔表面テクスチャを対比可能な情報を出力部に出力する出力工程と、
を実行する顔経時変化予測方法。
時間経過前後の二次元の顔画像データセットを複数含む教師データを用いた機械学習により得られた学習済みモデルであって二次元の顔画像データから少なくとも経時変化後の顔表面テクスチャ情報を予測可能な学習済みモデルを利用することができる一以上のプロセッサが、
対象者の二次元の顔画像データを取得するデータ取得工程と、
前記取得された二次元の顔画像データを前記学習済みモデルに適用することで予測された前記対象者の元顔の経時変化後の顔表面テクスチャ情報を含む第一経時変化顔情報を取得する第一予測工程と、
前記取得された二次元の顔画像データに対して、該顔画像データに写る前記対象者の元顔から少なくとも一部の顔表面テクスチャを変化させる特定画像処理を適用することにより、前記対象者の画像操作顔を示す二次元の操作顔画像データを取得する画像操作工程と、
前記取得された二次元の操作顔画像データを前記学習済みモデルに適用することで予測された前記対象者の画像操作顔の経時変化後の顔表面テクスチャ情報を含む第二経時変化顔情報を取得する第二予測工程と、
前記第一経時変化顔情報及び前記第二経時変化顔情報を用いて、経時変化後の前記元顔及び前記画像操作顔に関する少なくとも顔表面テクスチャを対比可能な情報を出力部に出力する出力工程と、
を実行する顔経時変化予測方法。
【0061】
＜２＞
前記対象者の前記元顔において顔表面テクスチャを変化させる部位を特定する特定工程、
を更に含み、
前記画像操作工程では、前記元顔から前記特定された部位の顔表面テクスチャを変化させた前記画像操作顔を示す前記操作顔画像データを取得する、
＜１＞に記載の顔経時変化予測方法。
＜３＞
前記特定工程では、前記第一予測工程で取得された前記第一経時変化顔情報に含まれる顔表面テクスチャ情報を少なくとも用いて、前記部位を特定する、
＜２＞に記載の顔経時変化予測方法。
＜４＞
前記対象者の前記元顔において顔表面テクスチャを変化させる変化態様を特定する工程、
を更に含み、
前記画像操作工程では、前記取得された二次元の顔画像データに対して、複数種の画像処理の中の前記特定された変化態様に対応する前記特定画像処理を適用する、
＜１＞から＜３＞のいずれか一つに記載の顔経時変化予測方法。
＜５＞
前記取得された二次元の顔画像データに対応する前記元顔の経時変化前の顔表面テクスチャ情報と前記元顔の経時変化後の顔表面テクスチャ情報との差異を示す前記元顔の経時変化前後の顔表面テクスチャ差異情報、及び前記取得された二次元の操作顔画像データに対応する前記画像操作顔の経時変化前の顔表面テクスチャ情報と前記画像操作顔の経時変化後の顔表面テクスチャ情報との差異を示す前記画像操作顔の経時変化前後の顔表面テクスチャ差異情報を取得する工程、又は
前記取得された二次元の顔画像データに対応する前記元顔の経時変化前の顔表面テクスチャ情報と前記取得された二次元の操作顔画像データに対応する前記画像操作顔の経時変化前の顔表面テクスチャ情報との差異を示す経時変化前の顔表面テクスチャ差異情報、及び前記元顔の経時変化後の顔表面テクスチャ情報と前記画像操作顔の経時変化後の顔表面テクスチャ情報との差異を示す経時変化後の顔表面テクスチャ差異情報を取得する工程
を更に含み、
前記出力工程では、前記元顔の経時変化前後の顔表面テクスチャ差異情報と前記画像操作顔の経時変化前後の顔表面テクスチャ差異情報とを対比可能に前記出力部に出力する、又は前記経時変化前の顔表面テクスチャ差異情報と前記経時変化後の顔表面テクスチャ差異情報とを対比可能に前記出力部に出力する、
＜１＞から＜４＞のいずれか一つに記載の顔経時変化予測方法。
＜６＞
前記学習済みモデルは、前記二次元の顔画像データセットに対応する三次元の顔形状情報セットを更に含む前記教師データを用いた機械学習により得られたモデルであり、二次元の顔画像データから、経時変化後における三次元の顔形状情報及び該顔形状情報に適合する顔表面テクスチャ情報を予測可能であり、
前記第一予測工程で取得される前記第一経時変化顔情報は、前記元顔の経時変化後の三次元の顔形状情報を更に含み、
前記第二予測工程で取得される前記第二経時変化顔情報は、前記画像操作顔の経時変化後の三次元の顔形状情報を更に含み、
前記出力工程では、経時変化後の前記元顔及び前記画像操作顔に関する顔表面テクスチャ及び顔形状を対比可能な情報を前記出力部に出力する、
＜１＞から＜５＞のいずれか一つに記載の顔経時変化予測方法。
＜７＞
前記出力工程では、経時変化後の前記元顔の顔表面テクスチャ及び顔形状を示す多視点映像と、経時変化後の前記画像操作顔の顔表面テクスチャ及び顔形状を示す多視点映像とを対比可能に前記出力部に出力する、
＜６＞に記載の顔経時変化予測方法。
＜８＞
前記学習済みモデルは、二次元の顔画像データから、三次元の顔形状情報及び該顔形状情報に適合する顔表面テクスチャ情報を経時変化前と経時変化後とに関してそれぞれ予測可能であり、
前記取得された二次元の顔画像データを前記学習済みモデルに適用することで予測された前記対象者の元顔の経時変化前の顔形状情報及び顔表面テクスチャ情報を含む第一の三次元顔情報を取得する工程と、
前記取得された二次元の操作顔画像データを前記学習済みモデルに適用することで予測された前記対象者の画像操作顔の経時変化前の顔形状情報及び顔表面テクスチャ情報を含む第二の三次元顔情報を取得する工程と、
を更に含み、
前記出力工程では、前記第一の三次元顔情報及び前記第二の三次元顔情報を更に用いて、前記元顔の経時変化前後の顔表面テクスチャの差異と前記元顔の経時変化前又は経時変化後の顔形状とを示す多視点映像、及び前記画像操作顔の経時変化前後の顔表面テクスチャの差異と前記画像操作顔の経時変化前又は経時変化後の顔形状とを示す多視点映像を対比可能に前記出力部に出力する、
＜６＞又は＜７＞に記載の顔経時変化予測方法。
＜９＞
前記出力工程では、前記元顔の経時変化前後の顔形状の差異情報と前記画像操作顔の経時変化前後の顔形状の差異情報とを対比可能に前記出力部に出力する、
＜８＞に記載の顔経時変化予測方法。
＜１０＞
前記学習済みモデルを利用可能な装置であって、＜１＞から＜９＞のいずれか一つに記載の顔経時変化予測方法を実行可能な顔経時変化予測装置。
前記対象者の前記元顔において顔表面テクスチャを変化させる部位を特定する特定工程、
を更に含み、
前記画像操作工程では、前記元顔から前記特定された部位の顔表面テクスチャを変化させた前記画像操作顔を示す前記操作顔画像データを取得する、
＜１＞に記載の顔経時変化予測方法。
＜３＞
前記特定工程では、前記第一予測工程で取得された前記第一経時変化顔情報に含まれる顔表面テクスチャ情報を少なくとも用いて、前記部位を特定する、
＜２＞に記載の顔経時変化予測方法。
＜４＞
前記対象者の前記元顔において顔表面テクスチャを変化させる変化態様を特定する工程、
を更に含み、
前記画像操作工程では、前記取得された二次元の顔画像データに対して、複数種の画像処理の中の前記特定された変化態様に対応する前記特定画像処理を適用する、
＜１＞から＜３＞のいずれか一つに記載の顔経時変化予測方法。
＜５＞
前記取得された二次元の顔画像データに対応する前記元顔の経時変化前の顔表面テクスチャ情報と前記元顔の経時変化後の顔表面テクスチャ情報との差異を示す前記元顔の経時変化前後の顔表面テクスチャ差異情報、及び前記取得された二次元の操作顔画像データに対応する前記画像操作顔の経時変化前の顔表面テクスチャ情報と前記画像操作顔の経時変化後の顔表面テクスチャ情報との差異を示す前記画像操作顔の経時変化前後の顔表面テクスチャ差異情報を取得する工程、又は
前記取得された二次元の顔画像データに対応する前記元顔の経時変化前の顔表面テクスチャ情報と前記取得された二次元の操作顔画像データに対応する前記画像操作顔の経時変化前の顔表面テクスチャ情報との差異を示す経時変化前の顔表面テクスチャ差異情報、及び前記元顔の経時変化後の顔表面テクスチャ情報と前記画像操作顔の経時変化後の顔表面テクスチャ情報との差異を示す経時変化後の顔表面テクスチャ差異情報を取得する工程
を更に含み、
前記出力工程では、前記元顔の経時変化前後の顔表面テクスチャ差異情報と前記画像操作顔の経時変化前後の顔表面テクスチャ差異情報とを対比可能に前記出力部に出力する、又は前記経時変化前の顔表面テクスチャ差異情報と前記経時変化後の顔表面テクスチャ差異情報とを対比可能に前記出力部に出力する、
＜１＞から＜４＞のいずれか一つに記載の顔経時変化予測方法。
＜６＞
前記学習済みモデルは、前記二次元の顔画像データセットに対応する三次元の顔形状情報セットを更に含む前記教師データを用いた機械学習により得られたモデルであり、二次元の顔画像データから、経時変化後における三次元の顔形状情報及び該顔形状情報に適合する顔表面テクスチャ情報を予測可能であり、
前記第一予測工程で取得される前記第一経時変化顔情報は、前記元顔の経時変化後の三次元の顔形状情報を更に含み、
前記第二予測工程で取得される前記第二経時変化顔情報は、前記画像操作顔の経時変化後の三次元の顔形状情報を更に含み、
前記出力工程では、経時変化後の前記元顔及び前記画像操作顔に関する顔表面テクスチャ及び顔形状を対比可能な情報を前記出力部に出力する、
＜１＞から＜５＞のいずれか一つに記載の顔経時変化予測方法。
＜７＞
前記出力工程では、経時変化後の前記元顔の顔表面テクスチャ及び顔形状を示す多視点映像と、経時変化後の前記画像操作顔の顔表面テクスチャ及び顔形状を示す多視点映像とを対比可能に前記出力部に出力する、
＜６＞に記載の顔経時変化予測方法。
＜８＞
前記学習済みモデルは、二次元の顔画像データから、三次元の顔形状情報及び該顔形状情報に適合する顔表面テクスチャ情報を経時変化前と経時変化後とに関してそれぞれ予測可能であり、
前記取得された二次元の顔画像データを前記学習済みモデルに適用することで予測された前記対象者の元顔の経時変化前の顔形状情報及び顔表面テクスチャ情報を含む第一の三次元顔情報を取得する工程と、
前記取得された二次元の操作顔画像データを前記学習済みモデルに適用することで予測された前記対象者の画像操作顔の経時変化前の顔形状情報及び顔表面テクスチャ情報を含む第二の三次元顔情報を取得する工程と、
を更に含み、
前記出力工程では、前記第一の三次元顔情報及び前記第二の三次元顔情報を更に用いて、前記元顔の経時変化前後の顔表面テクスチャの差異と前記元顔の経時変化前又は経時変化後の顔形状とを示す多視点映像、及び前記画像操作顔の経時変化前後の顔表面テクスチャの差異と前記画像操作顔の経時変化前又は経時変化後の顔形状とを示す多視点映像を対比可能に前記出力部に出力する、
＜６＞又は＜７＞に記載の顔経時変化予測方法。
＜９＞
前記出力工程では、前記元顔の経時変化前後の顔形状の差異情報と前記画像操作顔の経時変化前後の顔形状の差異情報とを対比可能に前記出力部に出力する、
＜８＞に記載の顔経時変化予測方法。
＜１０＞
前記学習済みモデルを利用可能な装置であって、＜１＞から＜９＞のいずれか一つに記載の顔経時変化予測方法を実行可能な顔経時変化予測装置。
【0062】
なお、各図に示される処理フローでは、各工程に符号が付されているが、本実施形態で実行される工程の実行順序は、その符号の数字の順番に制限されない。本実施形態では、各工程の実行順を内容的に支障のない範囲で適宜決定することができる。また、上述の各実施形態及び各変形例は、内容が相反しない範囲で組み合わせることができる。
【符号の説明】
【0063】
１０ 情報処理装置（顔経時変化予測装置）
１１ ＣＰＵ
１２ メモリ
１３ 入出力Ｉ／Ｆ
１４ 通信ユニット
１５ 表示装置
１６ 入力装置
１１ ＣＰＵ
１２ メモリ
１３ 入出力Ｉ／Ｆ
１４ 通信ユニット
１５ 表示装置
１６ 入力装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】