特開 2024-172693 幸福度の推定方法、幸福度の推定プログラム、幸福度の推定装置およびモデルの生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024172693

(43)【公開日】2024-12-12

(54)【発明の名称】幸福度の推定方法、幸福度の推定プログラム、幸福度の推定装置およびモデルの生成方法

(51)【国際特許分類】

   G06T 7/20 20170101AFI20241205BHJP

   G06V 40/16 20220101ALI20241205BHJP

   G06T 7/00 20170101ALI20241205BHJP

【ＦＩ】

G06T7/20 300B

G06V40/16 B

G06T7/00 350B

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2023090566

(22)【出願日】2023-05-31

(71)【出願人】

【識別番号】000113470

【氏名又は名称】ポーラ化成工業株式会社

(74)【代理人】

【識別番号】100137338

【弁理士】

【氏名又は名称】辻田 朋子

(74)【代理人】

【識別番号】100196313

【弁理士】

【氏名又は名称】村松 大輔

(72)【発明者】

【氏名】錦織 秀

(72)【発明者】

【氏名】諸隈 亜佑美

(72)【発明者】

【氏名】黒住 元紀

(72)【発明者】

【氏名】倉田 智宏

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096CA04

5L096DA02

5L096HA04

5L096HA09

5L096JA11

5L096KA04

(57)【要約】

【課題】容易に幸福度を評価するための新たな技術を提供すること。
【解決手段】対象者の表情変化を含む顔画像データを取得する画像取得工程と、表情変化を含む顔画像データから幸福度を推定するための推定モデルに基づいて、対象者の顔画像データから、対象者の幸福度の推定値を算出する推定工程と、を備える幸福度の推定方法。
【選択図】図６

【特許請求の範囲】

【請求項1】

対象者の表情変化を含む顔画像データを取得する画像取得工程と、
表情変化を含む顔画像データから幸福度を推定するための推定モデルに基づいて、前記対象者の顔画像データから、前記対象者の幸福度の推定値を算出する推定工程と、を備える幸福度の推定方法。

【請求項2】

前記幸福度は、前記対象者のウェルビーイングに関する評価値に基づく値である請求項１に記載の幸福度の推定方法。

【請求項3】

前記推定モデルは、複数の被験者から取得した、前記幸福度の測定値及び顔画像データに基づいて生成され、
前記測定値は、以下の（ｉ）～（ｖ）のうち互いに異なる観点に関する質問を含む複数の質問に対する被験者の回答により得られる値により算出される、請求項２に記載の推定方法：
（ｉ）ポジティブ感情
（ｉｉ）没頭又は没入
（ｉｉｉ）人間関係
（ｉｖ）人生の意味又は意義
（ｖ）達成感覚。

【請求項4】

前記表情変化における表情は、微笑、満足、笑い、幸福、怒り、嫌悪、悲しみ、真顔、又は驚きのうち１つ以上を含む、請求項１に記載の幸福度の推定方法。

【請求項5】

前記推定モデルは、特定の表情が表出するようなタスクを被験者に与えて取得した顔画像データを用いて生成されたものであり、
前記画像取得工程は、対象者に、前記タスクを与え、顔画像データを取得することを含む、請求項１に記載の幸福度の推定方法。

【請求項6】

前記タスクは、特定の表情をとるように前記被験者及び対象者に指示することによって与えられる、請求項５に記載の幸福度の推定方法。

【請求項7】

前記指示は、特定の表情を前記被験者及び対象者に提示して模倣するように促すものであり、
前記画像取得工程は、特定の前記表情を対象者に提示して模倣するように指示し、顔画像データを取得することを含む、請求項６に記載の幸福度の推定方法。

【請求項8】

前記推定モデルは、前記顔の動きに関する情報から幸福度を推定するモデルであり、
前記推定工程は、前記顔画像データから、前記表情変化における顔の動きに関する情報を取得し、前記顔の動きに関する情報に基づいて前記幸福度を推定することを含む、請求項１に記載の幸福度の推定方法。

【請求項9】

前記推定工程は、前記顔の動きに関する情報として、前記顔画像データから、表情変化における顔の特徴点の移動に関する特徴量を抽出することを含む、請求項８に記載の幸福度の推定方法。

【請求項10】

前記特徴量が、以下の（Ａ）～（Ｆ）のうち少なくとも１つを含む、請求項９に記載の推定方法：
（Ａ）前記顔に含まれる特徴点の移動量
（Ｂ）前記顔に含まれる複数の特徴点の移動量比
（Ｃ）前記顔に含まれる特徴点の移動の方向性
（Ｄ）前記顔に含まれる特徴点の移動速度又はその最大値
（Ｅ）前記顔に含まれる特徴点の移動における、前記指示に対する応答時間
（Ｆ）前記応答時間における移動速度の積分値。

【請求項11】

前記特徴量が、（Ｅ）前記顔に含まれる特徴点の移動における、前記指示に対する応答時間、又は、（Ｆ）前記応答時間における移動速度の積分値を含み、
前記応答時間は、以下の（ａ）～（ｃ）のうち少なくとも１つを含む、請求項１０に記載の推定方法：
（ａ）前記指示から前記特徴点の移動速度が最大になるまでの時間を示す反応時間
（ｂ）前記特徴点の移動速度が最大になってから前記特徴点の移動速度が十分に小さくなるまでの表情調整時間
（ｃ）前記反応時間及び表情調整時間の合計。

【請求項12】

前記特徴量が、前記特徴点の移動に関する顔の左右の比較に基づく量を含む、請求項９に記載の幸福度の推定方法。

【請求項13】

前記特徴点が、顔の部位を示す１又は２以上の点を含む、請求項９から請求項１２の何れかに記載の幸福度の推定方法。

【請求項14】

前記推定モデルは、被験者の表情変化を含む顔画像データと、該被験者の前記顔画像データが取得された際の幸福度の測定値と、を教師データとして、機械学習を行うことにより生成される学習済みモデルである、請求項１から請求項４の何れかに記載の幸福度の推定方法。

【請求項15】

対象者の表情変化を含む顔画像データを取得する画像取得工程と、
表情変化を含む顔画像データから幸福度を推定するための推定モデルに基づいて、前記対象者の顔画像データから、前記対象者の幸福度の推定値を算出する推定工程と、をコンピュータに実行させる、幸福度の推定プログラム。

【請求項16】

対象者の表情変化を含む顔画像データを取得する画像取得手段と、
表情変化を含む顔画像データから幸福度を推定するための推定モデルに基づいて、前記対象者の顔画像データから、前記対象者の幸福度の推定値を算出する推定手段と、を備える、幸福度の推定装置。

【請求項17】

表情変化における顔の動きに関する情報から幸福度を推定するためのモデルの生成方法であって、
被験者の表情変化における顔の動きに関する情報と、前記表情変化が起こった時の該被験者の幸福度の測定値と、を教師データとして取得する工程と、
前記教師データに基づき、前記顔の動きに関する情報を入力として、該表情変化を呈する人物の幸福度の推定値を出力するタスクを学習する工程と、を備える、モデルの生成方法。

【請求項18】

前記顔の動きに関する情報は、前記表情変化を含む顔画像データ又は、前記表情変化を含む顔画像データを分析して得られる値である、請求項１７に記載のモデルの生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、幸福度の推定方法、幸福度の推定プログラム、幸福度の推定装置及びモデルの生成方法に関する。

【背景技術】

【0002】

従来から、身体や精神の状態の評価に関し様々な技術が知られているが、専用の装置が必要な検査や、手間や時間のかかる検査が必要となることが多く、より負担の小さい方法が求められていた。そこで、近年では様々な観点から健康状態を容易に評価する技術が広く開発されている。

【0003】

例えば特許文献１には、指示に応じて表情を表出する被験者の動画を撮影し、表情スコアや表情の持続時間等を用いて認知機能の評価尺度に相当する値を推定する技術が記載されている。

【0004】

また特許文献２には、ガイダンスに従って表情が変化する被験者の顔を撮影して動画像を取得し、動画像に現れる微表情から真の感情を推定する技術が記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２２－７２０２４号公報

【特許文献2】特許第７００８３８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、豊かで充実した人生を送るためには身体機能に支障がないだけでは足りず、様々な角度から満たされていることが重要である。例えば世界保健機関憲章の前文では、「健康とは、病気ではないとか、弱っていないということではなく、肉体的にも、精神的にも、そして社会的にも、すべてが満たされた状態（ｗｅｌｌ－ｂｅｉｎｇ）にあることをいいます（日本ＷＨＯ協会：訳）」とされ、このような状態は「ウェルビーイング」や「幸福」とも表現される。

【0007】

しかしながら、このような「幸福」に関する指標の評価は、一般にアンケート等により行われており、手間や時間がかかるという問題があった。そこで本発明は、容易に幸福度を評価するための新たな技術を提供することを課題とする。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本発明は、対象者の表情変化を含む顔画像データを取得する画像取得工程と、表情変化を含む顔画像データから幸福度を推定するための推定モデルに基づいて、前記対象者の顔画像データから、前記対象者の幸福度の推定値を算出する推定工程と、を備える。

【0009】

このような構成とすることで、表情変化の様子を撮影した画像から、幸福度を推定することができる。これにより、幸福度を推定する対象者は表情を変化させるだけでよく、非常に小さな負担で幸福度の推定を行うことが可能となる。また、推定モデルにより顔画像データから推定を行うことができるため、評価や分析にかかる手間や時間も大幅に短縮される。

【0010】

本発明の好ましい形態では、前記幸福度は、前記対象者のウェルビーイングに関する評価値に基づく値である。

【0011】

本発明の好ましい形態では、前記推定モデルは、複数の被験者から取得した、前記幸福度の測定値及び顔画像データに基づいて生成され、前記測定値は、以下の（ｉ）～（ｖ）のうち互いに異なる観点に関する質問を含む複数の質問に対する被験者の回答により得られる値により算出される：
（ｉ）ポジティブ感情
（ｉｉ）没頭又は没入
（ｉｉｉ）人間関係
（ｉｖ）人生の意味又は意義
（ｖ）達成感覚。

【0012】

本発明の好ましい形態では、前記表情変化における表情は、微笑、満足、笑い、幸福、怒り、嫌悪、悲しみ、真顔、又は驚きのうち１つ以上を含む。

【0013】

本発明の好ましい形態では、前記推定モデルは、特定の表情が表出するようなタスクを被験者に与えて取得した顔画像データを用いて生成されたものであり、前記画像取得工程は、対象者に、前記タスクを与え、顔画像データを取得することを含む。

【0014】

本発明の好ましい形態では、前記タスクは、特定の表情をとるように前記被験者及び前記対象者に指示することによって与えられる。

【0015】

本発明の好ましい形態では、前記指示は、特定の表情を前記被験者及び対象者に提示して模倣するように促すものであり、前記画像取得工程は、特定の前記表情を対象者に提示して模倣するように指示し、顔画像データを取得することを含む。

【0016】

本発明の好ましい形態では、前記推定モデルは、前記顔の動きに関する情報から幸福度を推定するモデルであり、前記推定工程は、前記顔画像データから、前記表情変化における顔の動きに関する情報を取得し、前記顔の動きに関する情報に基づいて前記幸福度を推定することを含む。

【0017】

本発明の好ましい形態では、前記推定工程は、前記顔の動きに関する情報として、前記顔画像データから、表情変化における顔の特徴点の移動に関する特徴量を抽出することを含む。

【0018】

本発明の好ましい形態では、前記特徴量が、以下の（Ａ）～（Ｆ）のうち少なくとも１つを含む：
（Ａ）前記顔に含まれる特徴点の移動量
（Ｂ）前記顔に含まれる複数の特徴点の移動量比
（Ｃ）前記顔に含まれる特徴点の移動の方向性
（Ｄ）前記顔に含まれる特徴点の移動速度又はその最大値
（Ｅ）前記顔に含まれる特徴点の移動における、前記指示に対する応答時間
（Ｆ）前記応答時間における移動速度の積分値。

【0019】

本発明の好ましい形態では、前記特徴量が、（Ｅ）前記顔に含まれる特徴点の移動における、前記指示に対する応答時間、又は、（Ｆ）前記応答時間における移動速度の積分値を含み、前記応答時間は、以下の（ａ）～（ｃ）のうち少なくとも１つを含む：
（ａ）前記指示から前記特徴点の移動速度が最大になるまでの時間を示す反応時間
（ｂ）前記特徴点の移動速度が最大になってから前記特徴点の移動速度が十分に小さくなるまでの表情調整時間
（ｃ）前記反応時間及び表情調整時間の合計。

【0020】

本発明の好ましい形態では、前記特徴量が、前記特徴点の移動に関する顔の左右の比較に基づく量を含む。

【0021】

本発明の好ましい形態では、前記特徴点が、顔の部位を示す１又は２以上の点を含む。

【0022】

本発明の好ましい形態では、前記推定モデルは、被験者の表情変化を含む顔画像データと、該被験者の前記顔画像データが取得された際の幸福度の測定値と、を教師データとして、機械学習を行うことにより生成される学習済みモデルである。

【0023】

上記課題を解決するために、本発明は、表情変化における顔の動きに関する情報から幸福度を推定するためのモデルの生成方法であって、被験者の表情変化における顔の動きに関する情報と、前記表情変化が起こった時の該被験者の幸福度の測定値と、を教師データとして取得する工程と、前記教師データに基づき、前記顔の動きに関する情報を入力として、該表情変化を呈する人物の幸福度の推定値を出力するタスクを学習する工程と、を備える。

【0024】

本発明の好ましい形態では、前記顔の動きに関する情報は、前記表情変化を含む顔画像データ又は、前記表情変化を含む顔画像データを分析して得られる値である。

【発明の効果】

【0025】

本発明によれば、容易に幸福度を評価するための新たな技術を提供することができる。

【図面の簡単な説明】

【0026】

【図1】本発明の実施形態において顔画像データにより幸福度を推定するための手順を示すフローチャートである。

【図2】本発明の実施形態における推定モデルの生成に係る手順の一例を示すフローチャートである。

【図3】本発明の実施形態における顔画像データ撮影に係る手順を示すフローチャートである。

【図4】本発明の実施形態における表情の指示方法の例を示す図である。

【図5】本発明の実施形態における推定モデルの生成方法を示すフローチャートである。

【図6】本発明の実施形態における幸福度の推定方法に係る手順を示すフローチャートである。

【図7】本発明の実施形態における推定工程の詳細な手順の例を示すフローチャートである。

【発明を実施するための形態】

【0027】

本発明は、対象者の表情変化を含む顔画像データを用いて、当該対象者の幸福度を推定する、幸福度の推定方法等に関する。以下、図面を用いて、本発明に係る幸福度の推定方法について説明する。なお、以下に示す実施形態は本発明の一例であり、本発明を以下の実施形態に限定するものではない。

【0028】

例えば、本実施形態では幸福度の推定方法について説明するが、このような方法を実行するシステム、装置、コンピュータプログラム等も、同様の作用効果を奏することができる。また、プログラムは、コンピュータが読み取り可能な非一過性の記録媒体に記憶させてもよいし、外部のサーバからダウンロード可能に提供されてもよい。例えばコンピュータにプログラムをインストールすることで、コンピュータにより本発明に係る方法を実行できる。

【0029】

ここで本発明において幸福度とは、一時的な感情ではなく、心身の健康や社会的な環境等の要素を含む総合的な幸福に関する指標である。このような幸福の概念には、健康成就、生きがい、充実感等の要素も含まれる。本実施形態ではウェルビーイングに関する評価値を幸福度として用いる。ウェルビーイングに関する評価値とは、長期的な観点に基づく主観的な評価値である。幸福度は、例えば幸福に関する複数の質問に回答させることにより評価することができる。

【0030】

また本発明における表情とは、感情に応じて自然に表出するものではなく、対象者の意思により表現される表情を指す。以下において、特に意識的に表出される表情のことを、特定表情と呼ぶ。そして特定表情を表出する際の一連の変化を、本発明において表情変化と呼ぶ。

【0031】

また顔画像とは、対象者による上記の表情変化の過程を示す画像を指す。ここで顔画像は、表情が表出した瞬間の顔を撮影した単一の画像ではなく、この表情変化の過程を含む画像であり、例えば変化の前後を示す複数の静止画像や動画像が想定される。顔画像データとは、このような顔画像のデータである。

【0032】

以下、本発明に係る、幸福度の推定方法、幸福度の推定プログラム、幸福度の推定装置及びモデルの生成方法について、具体的な形態を例示して説明する。以下において、「被験者」とは、推定モデルの生成に際して顔画像データの撮影及び幸福度の測定を行う対象となる者を指し、一方「対象者」とは、生成された推定モデルを用いて、顔画像データから幸福度を推定する対象となる者を指す。

【0033】

図１は、顔画像データにより幸福度を推定するための大まかな手順を示すフローチャートである。このように、まずステップＳ１１において推定モデルを生成する。詳細は後述するが、複数の被験者から、表情変化を含む顔画像データ及び幸福度を取得して、その情報をもとに推定モデルを作成する。

【0034】

そしてステップＳ１２では、ステップＳ１１で作成した推定モデルを用いて実際に幸福度の推定を行う。幸福度の推定を行いたい対象者について表情変化を含む顔画像データを取得し、推定モデルに基づいて、対象者の顔画像データから対象者の幸福度を推定する。以下、ステップＳ１１及びステップＳ１２における手順の詳細を説明する。

【0035】

図２は、本実施形態における推定モデルの生成に係る手順の一例を示すフローチャートである。まずステップＳ２１において、複数の被験者について幸福度の測定が行われる。

【0036】

＜幸福度測定＞
本実施形態では、推定モデルの生成において、幸福に関する複数の質問を被験者に提示して回答させることで、幸福度の測定を行う。具体的には、少なくとも長期的な観点に基づく質問を含む複数の質問に対し、それぞれ回答を取得してその総合的な評価を行うことにより、幸福度が測定される。例えば、各質問における多段階の評価を取得し、その合計値や重みづけに基づく値等を幸福度の測定値として用いることができる。幸福度の測定には、複数の観点からそれぞれ質問を設けることが好ましく、例えばＰＥＲＭＡモデル等の既知の評価モデルを用いることができる。

【0037】

＜顔画像データ取得＞
幸福度の測定が終了すると、ステップＳ２２に進み、複数の被験者について顔画像データの取得が行われる。図３は、ステップＳ２２における顔画像データ撮影に係る手順を示すフローチャートである。なお顔画像データの撮影は、コンピュータにより行われてもよい。また顔画像データ撮影の前に、被験者に表情タスクの練習をさせてもよい。ステップＳ２２では、複数の被験者のそれぞれについて、図３に示す手順で撮影を行うことで複数の顔画像データを取得する。顔画像の撮影においては、ステップＳ３１で撮影を開始した後、ステップＳ３２に進んで、特定の表情が表出するようなタスクを被験者に与える。

【0038】

タスクの与え方としては、例えば、特定のシナリオを提示し、その時の感情を表情に表出するよう求める方法や、具体的に特定の表情を作るよう指示する方法がある。前者としては、例えば幸福の表情を求める場合、「次の状況で感情を感じたときに通常表示する表情を示してください」等と伝え、シナリオとして「ずっと欲しかったプレゼントをもらった。」等を提示することが想定される。

【0039】

また後者としては、「最大の笑顔をしてください」等のように言葉で指示をする方法や、表情の手本を提示して模倣するよう指示する方法がある。本実施形態では表情の手本となる画像により表情を指示することで、被験者に表情を表出させる。図４に、表情の指示の一例を示す。本実施形態では、被験者の前に配置された画面上に、図４（ａ）のように手本となるモデルの表情を映し、モデルの表情を模倣するように被験者に指示することによって表情の指示を行う。ここでは表情変化の過程を撮影するため、例えば図４（ｂ）のように、所定の時間、例えば３秒ごとに表情を変化させるように指示する。

【0040】

具体的には、所定の時間ごとに画面上の画像（以下、指示画像と呼ぶ）を変化させ、その変化に従って模倣するよう被験者に指示すればよい。ここで本実施形態では、指示画像として、各々が別の表情を呈し所定の時間ごとに切り替わる複数の静止画像を用いる。なお、モデルが表情を変化させる様子を表した動画像を指示画像として用いてもよい。またここでの表情としては、例えば、喜び、怒り、悲しみ、驚き、微笑、満足、笑い、幸福、嫌悪、真顔等の表情を用いることができる。ただし表情はこれらの内容に限定されず、任意の表情を用いて推定モデルの生成及び幸福度の推定を行うことができる。

【0041】

このようにして指示が行われると、それに応じて被験者が表情を変化させる（ステップＳ３３）。そして、表情の変化が終了してからステップＳ３４で撮影を終了する。これにより、指示に従った被験者の表情変化の過程を含む顔画像データを取得することができる。

【0042】

なお図２に示す手順は一例であり、影響のない範囲で順序を変更してもよい。例えばステップＳ２１およびステップＳ２２の順序は入れ替えてもよく、また可能な限り近い時期に行われることが好ましいが、この間に一定程度の時間の経過があってもよい。具体的には、例えば数日～数か月程度等、身体機能や考え方、社会的な環境、習慣等の、幸福度に影響しうる要素が変化しない範囲であれば、顔画像データの撮影と幸福度の測定の間において期間が経過していてもよい。なお、推定モデルの生成においては、複数の被験者でステップＳ２１及びステップＳ２２の順序及び間隔が統一されていることが好ましいが、幸福度への影響がない範囲であれば、被験者ごとにステップＳ２１及びステップＳ２２の順序及び間隔が異なっていてもよい。

【0043】

＜推定モデル生成＞
十分な数の被験者について、幸福度測定及び顔画像データの撮影を行った後、ステップＳ２３に進んで推定モデルの生成を行う。本発明において推定モデルとは、顔の動きに関する情報から幸福度を推定するための任意の構造のモデルを指し、例えば回帰モデル及び機械学習モデルを含む。推定モデルの生成手順について、図５に詳細を示す。推定モデルについては、複数の被験者に関する顔画像データ及び幸福度の測定値を用いて、回帰分析により作成する方法や、機械学習により作成する方法がある。

【0044】

回帰分析により推定モデルを生成する場合、顔画像データから顔の動きに関する情報を取得して、顔の動きに関する情報及び幸福度の回帰分析により、モデルを生成する。顔の動きに関する情報は、表情変化に対応して変化する任意の指標であってよい。例えば表情の程度を示すスコアの変化量や変化速度等、顔の表情全体に関する値であってもよいし、顔の特定の部位の移動に関する値であってもよい。本実施形態では、顔の動きに関する情報として、顔の任意の位置に存在する特徴点の移動に関する特徴量を用いる。なお、本実施形態では顔の動きに関する情報は顔画像データから取得されるが、本発明に係る推定モデルの生成においては、例えば顔に設置したセンサ等により取得してもよい。

【0045】

図５（ａ）は、回帰分析による推定モデルの生成方法を示すフローチャートである。本実施形態ではまずステップＳ４１で、複数の被験者に関する顔画像データ及び幸福度の組を取得する。次にステップＳ４２では、顔画像データから、顔の動きに関する情報として、顔の特徴点の移動に関する特徴量を抽出する。

【0046】

特徴点は顔の任意の位置に設けられた点であり、表情の変化に対応して移動する点が好ましい。顔の部位を示す１又は２以上の点であってよく、顔の部位としては例えば、頬部、眉部、目元、口元、顎等が挙げられる。なお特徴点は、事前に決めた部位にマーカーを設置して特定してもよいし、マーカー等を利用せずに画像解析により特定してもよい。またオプティカルフロー法により顔上の任意の点を特徴点として用いて、特徴量の抽出を行ってもよい。

【0047】

また特徴量としては、特徴点の移動量、複数の特徴点の移動量比、特徴点の移動の方向性、特徴点の移動速度、特徴点の移動速度の最大値、特徴点の移動における、表情の指示に対する応答時間、及び、応答時間における特徴点の移動速度の積分値等を用いることができる。またこの他、特徴点の位置に関する指標を正規化し、指示画像における特徴点と、被験者の特徴点と、の移動量の差分や比を特徴量として用いてもよい。ここで移動量は、無表情時の特徴点の位置と、表情表出時（表情の表出が安定した時点）の特徴点の位置と、の差分である。また移動速度とは、単位時間当たりの動きの量を意味する。例えば動画像のフレームごとの特徴点の位置と、前のフレームにおける特徴点の位置との差分、即ち顔画像データのフレームごとの移動量により表すことができる。

【0048】

また応答時間とは、表情の指示を行ってから被験者及び対象者がその指示に応答するのにかかる時間を指す。応答時間は、顔画像データの特徴点の移動量とタスク提示タイミング等から算出することができる。本実施形態の応答時間は、表情変化の過程において、指示を行ってから特徴点の移動速度が最大になるまでの時間を示す反応時間と、特徴点の移動速度が最大になってから特徴点の移動速度が十分に小さくなるまでの表情調整時間と、反応時間及び表情調整時間の合計と、を含む概念である。

【0049】

反応時間は、指示から表情変化を行うまでにかかる時間であり、表情調整時間は、表情最大化から表情の表出が安定するまでにかかる時間であると言うことができる。したがって応答時間における特徴点の移動速度の積分値とは、上記のような各種の応答時間の間における特徴点の移動の累積値を意味する。

【0050】

更にこの他にも、特徴量として、特徴点の移動に関する顔の左右の比較に基づく量を用いてもよい。例えば顔の左右の対応する位置に特徴点を設け、その特徴点に関しそれぞれ上記に特徴量として例示したような量を計算して、その左右差や左右比、あるいは左右の類似度を算出して、これを特徴量として用いることができる。

【0051】

顔の左右の比較に基づく量の計算には、左右の特徴点の移動に関するベクトルを用いることができる。本実施形態では、まず顔の領域を左右それぞれ複数に分け、領域内の複数の特徴点について、無表情時（表情変化前）及び表情表出時（表情変化後）における特徴点の位置の差分ベクトルを算出する。次に、同一領域に存在する複数の特徴点に関する差分ベクトルの平均を求め、これを領域ごとの平均移動ベクトルとする。左右の対応する領域に関する平均移動ベクトルを用いて、左右の移動量の類似度及び左右の移動の方向性の類似度を領域ごとに計算することができる。

【0052】

左右の移動量の類似度は、例えば、左右の対応する領域の平均移動ベクトルの大きさを用いて、数１により計算できる。これは、左側の領域の平均移動ベクトルの大きさと、右側の領域の平均移動ベクトルの大きさと、の差分絶対値の逆数について対数を取った値である。

【数1】

【0053】

また左右の移動の方向性の類似度は、例えば、左右の対応する領域の平均移動ベクトルの大きさを用いて、数２により計算できる。なお、左右の移動量の類似度及び左右の移動の方向性の類似度は、平均移動ベクトルではなく、左右それぞれの対応する特徴点に関する、無表情時及び表情表出時の位置の差分ベクトルを用いて同様に計算してもよい。

【数2】

【0054】

このような特徴量を複数の被験者の顔画像データそれぞれについて算出した後、ステップＳ４３において、複数の被験者に関するデータを用いて、特徴量及び幸福度の関係について、特徴量を説明変数、幸福度を目的変数とする回帰分析を行う。これにより、特徴量から幸福度を推定する推定モデルを生成する。

【0055】

回帰分析の方法としては既知の手法を任意に用いてよく、例えば、主成分重回帰、主成分多項式回帰、ＰＬＳ重回帰、ＰＬＳ多項式回帰、Ｌａｓｓｏ回帰、Ｒｉｄｇｅ回帰、ＥｌａｓｔｉｃＮｅｔ回帰ガウスカーネルのサポートベクトル回帰、ランダムフォレスト回帰等が利用可能である。相関係数や無相関検定等から分析結果を評価し、より適切に特徴量及び幸福度の関係を表現可能な方法を選択することが好ましい。

【0056】

次に図５（ｂ）を参照して、機械学習による推定モデルの生成について説明する。機械学習により推定モデルを生成する場合には、モデルの入力とする情報と、出力とする情報と、の組を教師データとしてモデルに学習させることで推定モデルを生成する。

【0057】

本実施形態では、まずステップＳ５１で、回帰分析の場合と同様に、複数の被験者に関する顔画像データ及び幸福度の組を取得する。そしてステップＳ５２では、取得した情報を教師データとしてモデルに与え、顔画像データから幸福度を推定するタスクを学習させる。これにより、顔画像データから直接幸福度を推定する推定モデルとして、学習済みモデルを生成することができる。

【0058】

なお本実施形態では顔画像データそのものを入力として用いるが、例えば図５（ａ）のステップＳ４２と同様の特徴量を抽出して、１又は複数の特徴量を入力として用いて学習を行ってもよい。この場合、顔画像データから取得可能な特徴量を用いて、幸福度を推定する推定モデルを生成することができる。また、本実施形態では顔画像データをそのまま機械学習により生成された推定モデルに入力することを想定するが、任意の前処理を行った顔画像データを入力する形態としてもよい。

【0059】

以上のように、本発明では複数の被験者の顔画像データ及び幸福度の組を用いて、顔画像データから幸福度を推定するための推定モデルを生成することができる。

【0060】

＜幸福度推定＞
次に、上記のように作成した推定モデルを用いて幸福度を推定する手順について詳細に説明する。ここで、以下に説明する幸福度の推定方法は、コンピュータに実行させることもできる。例えばサーバ装置に幸福度の推定プログラムを記憶させ、インターネット等のネットワークを介してサーバ装置と接続された端末装置から対象者の顔画像データを受信して、本発明の推定方法を実行することができる。推定プログラムを記憶させた任意のサーバ装置が、本発明に係る推定装置として機能する。なお本発明は以下の形態に限定されず、サーバ装置及び端末装置の行う各処理を単一のコンピュータにより実行してもよいし、また例えば複数のコンピュータが協働して本発明に係る推定装置として機能してもよい。

【0061】

推定装置としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算装置、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の主記憶装置、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ等の補助記憶装置、ネットワークへの接続手段を含む種々の入出力装置等を備えた一般的なサーバ装置等のコンピュータ装置を利用することができる。

【0062】

また端末装置としては、カメラ、演算装置、記憶装置、ネットワークへの接続手段を含む種々の入出力装置等を備えた、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の任意のコンピュータ装置を利用することができる。その他、スマートフォンやタブレット型端末を端末装置として利用してもよい。サーバ装置との間で各種情報の入力及び送受信を行うための専用のアプリケーションや、専用のウェブページにアクセスするためのブラウザアプリケーション等が記憶装置に記憶され、演算装置が各種の処理を実行することで、任意のコンピュータ装置が本発明の端末装置として機能する。例えば端末装置が対象者の顔画像データを撮影して推定装置に送信することで、本発明に係る推定方法が推定装置において実行される。

【0063】

本実施形態の端末装置は、上述の図３及び図４に示したものと同様の手順で対象者の表情変化を含む顔画像データを撮影し、推定装置に送信する。カメラと表示装置が同一の方向に設けられている装置を端末装置として用いる場合には、上述の指示画像の提示も端末装置の表示装置によって行ってもよい。

【0064】

推定装置は、画像取得手段と、推定手段と、記憶手段と、を備え、端末装置と通信可能に構成される。なおこれらの手段は必ずしも単一の装置内に設けられる必要はなく、例えば複数のコンピュータが協働してこれらの手段を実現する構成であってもよい。

【0065】

画像取得手段は、対象者の表情変化を含む顔画像データを、ネットワークを介して端末装置から受信し取得すると、推定手段に受け渡す。

【0066】

推定手段は、予め記憶手段に記憶された推定モデルに基づいて、画像取得手段が取得した顔画像データから、対象者の幸福度の推定値を算出する。具体的には、上述の方法で生成された推定モデルに、画像取得手段が取得した顔画像データに基づく情報を入力して、幸福度の推定値を算出する。

【0067】

顔画像データに基づく情報とは、記憶手段に記憶された推定モデルにおいて事前に定められた情報である。例えば記憶手段に記憶された推定モデルが顔画像データにより得られる顔の特徴点の移動に関する特徴量をもとに幸福度を推定する推定モデルである場合には、当該特徴量を顔画像データに基づく情報として入力する。また記憶手段に記憶された推定モデルが、顔画像データを入力として幸福度の推定値を出力するタスクを学習した推定モデルである場合には、顔画像データをそのまま、あるいは適切な前処理を行った上で入力すればよい。

【0068】

＜推定方法＞
以下、図６を参照して、本発明に係る推定方法の実施形態を説明する。まずステップＳ６１の画像取得工程において、推定装置の画像取得手段が、対象者の表情変化を含む顔画像データを端末装置から受信する。そして画像取得手段は推定手段に顔画像データを受け渡す。

【0069】

次にステップＳ６２では、推定手段が推定モデルに基づき幸福度の推定を行う。図７は、本実施形態の推定工程（ステップＳ６２）の詳細な手順の例を示すフローチャートである。上述の通り、用いる推定モデルによって推定工程の手順が異なる。

【0070】

図７（ａ）は、特徴量を入力として幸福度を推定する場合のフローチャートである。この場合、まずステップＳ７１で、画像取得手段が取得した顔画像データから、推定手段が特徴量を計算する。特徴量については、記憶手段に記憶された推定モデルの生成に用いたものと同種の情報を抽出する。

【0071】

そしてステップＳ７２で、推定手段は、顔画像データから計算した特徴量を推定モデルに入力することにより、推定モデルが出力する幸福度の推定値を得る。これにより、顔画像データから対象者の幸福度を推定することができる。

【0072】

一方図７（ｂ）は、画像データを入力として幸福度を推定する場合のフローチャートである。この場合には、推定手段がステップＳ８１で、画像取得手段の取得した画像データを推定モデルに入力する。ここで、推定モデルの生成において画像データの前処理を行った場合には、ステップＳ８１における推定時にも、モデルへの入力前に同様の前処理を行う。そして推定モデルが幸福度の推定値を出力することにより、顔画像データから対象者の幸福度を推定することができる。

【0073】

以上のように、本実施形態によれば、対象者に表情を指示して表情変化を撮影することで、顔画像データから幸福度の推定を行うことができる。これにより、幸福度を評価するために対象者がアンケートへの回答等を行う必要がなくなり、また、評価を行う者も顔画像データを入力するだけで幸福度を推定することが可能となる。

【0074】

＜実施例＞
以下、本発明者らによって行われた、表情変化を含む顔画像データから取得される特徴量と、幸福度と、の関係を調べた実施例について説明する。なお、本発明は以下のような実験結果をもとになされたものであるが、本発明において用いられる特徴量、幸福度、その他の値は以下の形態に限定されない。

【0075】

［１］被験者
全２９９名の母集団を、心身状態の主観評価に基づいて３群に分け、各群の年齢分散が母集団と同等になり、かつ各群の主観評価が一定幅の分散となるようスクリーニングを行って、６５～８２歳の女性３５名を被験者として顔画像データ及び幸福度を取得した。

【0076】

［２］幸福度測定
本実施例では、ＰＥＲＭＡモデルにより幸福度の評価を行った。ＰＥＲＭＡモデルは、以下の５つの観点からウェルビーイングを評価するモデルである。
（ｉ）Ｐｏｓｉｔｉｖｅ Ｅｍｏｔｉｏｎ（ポジティブ感情）
（ｉｉ）Ｅｎｇａｇｅｍｅｎｔ（没頭又は没入）
（ｉｉｉ）Ｒｅｌａｔｉｏｎｓｈｉｐ（人間関係）
（ｉｖ）Ｍｅａｎｉｎｇ（人生の意味又は意義）
（ｖ）Ａｃｃｏｍｐｌｉｓｈｍｅｎｔ（達成）

【0077】

具体的には、上記５つの各観点からそれぞれ複数の質問を設け、合計２３のウェルビーイングに関する質問を被験者に回答させた。回答は０～１０の１１段階で取得し、２３の質問における回答の合計値を幸福度の測定値として算出した。

【0078】

［３］顔画像データ取得
［２］において幸福度測定を行ってから遅くとも１か月の間に、各被験者について顔画像データの撮影を行った。被験者の顔の前にディスプレイを配置し、ディスプレイ上にモデルの顔画像（指示画像）を表示してその表情を模倣するよう被験者に指示し、被験者の表情変化の過程を動画像として撮影した。

【0079】

指示画像においては、無表情、特定表情、無表情、の順に３秒ずつ異なる表情の静止画像を表示させることで、表情変化を指示した。特定表情としては、怒り、驚き、微笑、笑い、の４種類を用いて、上記の手順でそれぞれ指示して、顔画像データを取得した。また顔画像データの取得は各被験者について各６回試行し、特定表情を、怒り、驚き、怒り、驚き、微笑、笑い、の順に変えて試行した。なお怒りと驚きについては各２回試行しているため、以下においては１回目と２回目のそれぞれについて「怒り１」、「怒り２」のように区別して記載する。顔画像データは、表情の指示の開始前から表情の指示（２回目の無表情の指示）を終えた後の数秒間まで含めて撮影した。

【0080】

［４］特徴量抽出
本実施例では、眉、目元、頬及び口角を含む顔の部位及び顔の全範囲の点を特徴点とし、顔画像データから以下を特徴量として計算により抽出した。
・反応時間
・特徴点ごとの反応時間の左右差
・表情調整時間
・表情調整量
・特徴点ごとの移動量
・特徴点ごとの移動量の指示画像との差分
・特徴点の移動量比（頬／口角、眉／口角、目元／口角）
・微笑における特徴点の移動量に対する、笑顔における特徴点の移動量比
・複数の特徴点を含む領域ごとの移動量の左右類似度
・複数の特徴点を含む領域ごとの移動の方向性の左右類似度
・特徴点ごとの反応時間（表情動き出し時間）
・特徴点ごとの反応時間（表情動き出し時間）の左右差分
・特徴点ごとの反応時間（表情動き出し時間）の左右差分絶対値

【0081】

ここで反応時間とは、指示画像において特定表情を指示してから、顔画像データのフレームごとの特徴点移動量、即ち特徴点の移動速度が最大になるまでの時間、即ち被験者が指示に反応して表情を動かすまでの時間である。また表情調整時間とは、特徴点の移動速度が最大になってから特徴点の移動速度が十分に小さくなるまでの時間、即ち、表情最大変化から表情の表出が安定するまでにかかる時間である。そして、反応時間や表情調整時間を含む、表情の指示への応答に関する時間を応答時間と呼ぶ。

【0082】

また表情調整量とは、表情調整時間における特徴点の移動速度の積分値である。即ち表情調整量は、被験者が表情を変化させ始めてから表情を安定させるまでの、特徴点の移動の累積値である。移動量とは、表情変化前（真顔）時の特徴点の位置と、表情変化の過程の各時点における特徴点の位置と、の差分である。

【0083】

また上記の各種特徴量における「移動量」は、無表情時の特徴点の位置と、表情表出時（表情の表出が安定した時点）の特徴点の位置と、の差分である。

【0084】

［５］相関分析
上記のように取得した、顔画像データに基づく特徴量及び幸福度について、複数の被験者の情報に基づき、特定表情ごとに相関分析を行い、相関係数ｒ及び無相関検定ｐを算出した。幸福度と一定以上の相関が確認された特定表情及び特徴量の組み合わせは以下の通りである。
・「微笑」における表情調整時間
・「微笑」における頬の特徴点に関する移動の方向性の左右類似度
・「微笑」における目元の特徴点に関する反応時間の左右差分絶対値
・「笑い」における口角の特徴点に関する移動の方向性の左右類似度
・「怒り１」における眉の特徴点に関する移動の方向性の左右類似度
・「怒り２」における眉の特徴点に関する指示画像との類似度
・「怒り２」における口角の特徴点に関する移動量の左右類似度
・「怒り２」における口角の特徴点に関する反応時間の左右差分
・「怒り２」における口角の特徴点に関する反応時間の左右差分絶対値
・「驚き１」における表情調整時間
・「驚き１」における目元の特徴点に関する指示画像との類似度
・「驚き１」における頬と口角の特徴点の移動量比（頬／口角）

【0085】

また、幸福度を目的変数とし、上述の特徴量の全てを説明変数として、ＰＬＳ多項式回帰により解析を行ったところ、決定係数Ｒ＾２＞０．９であった。このことから、顔画像データにより得られる表情の動き特徴量から幸福度を予測できる可能性が示唆された。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】