特許 7507674 ユーザー状態分析方法及びユーザー状態分析システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-20

(45)【発行日】2024-06-28

(54)【発明の名称】ユーザー状態分析方法及びユーザー状態分析システム

(51)【国際特許分類】

   G16H 50/30 20180101AFI20240621BHJP

   G06T 7/00 20170101ALI20240621BHJP

【ＦＩ】

G16H50/30

G06T7/00 660A

【請求項の数】 20

(21)【出願番号】P 2020200828

(22)【出願日】2020-12-03

(65)【公開番号】P2022088796

(43)【公開日】2022-06-15

【審査請求日】2023-11-06

(73)【特許権者】

【識別番号】000113470

【氏名又は名称】ポーラ化成工業株式会社

(74)【代理人】

【識別番号】110000800

【氏名又は名称】デロイトトーマツ弁理士法人

(72)【発明者】

【氏名】本川 智紀

(72)【発明者】

【氏名】加藤 朋美

【審査官】梅岡 信幸

(56)【参考文献】

【文献】特開２００５－０６５８１２（ＪＰ，Ａ）

【文献】特開２０１７－１４６７３３（ＪＰ，Ａ）

【文献】特開２０１９－０８７２７６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１６Ｈ １０／００－８０／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

ユーザーの顔の映像を該ユーザーに見せると共に、該ユーザーの顔に現れている感情又は疲労状態と相関関係を有する、顔の状態についての質問を表示するステップを含み、
前記ユーザーの顔の状態についての質問に対する該ユーザーによる回答を、前記顔の映像を該ユーザーに見せている状態で受け付ける入力受付ステップと、
前記ユーザーの顔の状態についての質問に対する該ユーザーによる回答を分析する回答分析ステップと、
前記回答の分析結果に基づいて、前記ユーザーの顔に現れている感情及び疲労状態の一方又は両方を含むユーザー状態を示すユーザー状態情報を生成するユーザー状態情報生成ステップと、を備える
ことを特徴とするユーザー状態分析方法。

【請求項2】

請求項１に記載のユーザー状態分析方法において、
前記ユーザーの前記ユーザー状態を改善するための、該ユーザーに提供可能な複数のソリューションから、前記ユーザー状態情報に応じたソリューションを決定するソリューション決定ステップと、
決定された前記ソリューションを前記ユーザーに提供するステップと、をさらに含む
ことを特徴とするユーザー状態分析方法。

【請求項3】

請求項１又は２に記載のユーザー状態分析方法において、
前記ユーザーの顔の画像を撮像するステップと、
撮像された前記ユーザーの顔の画像を分析する画像分析ステップと、
をさらに含み、
前記ユーザー状態情報生成ステップは、前記回答及び前記顔の画像の分析結果に基づいて、前記ユーザー状態情報を生成するステップである
ことを特徴とするユーザー状態分析方法。

【請求項4】

請求項１～３の何れかに記載のユーザー状態分析方法において、
生成された前記ユーザー状態情報を表示するステップを備える
ことを特徴とするユーザー状態分析方法。

【請求項5】

請求項１～４のいずれかに記載のユーザー状態分析方法において、
生成した前記ユーザー状態情報を時系列的に記憶するステップと、
前記ユーザーの操作に応じて、記憶されている前記ユーザー状態情報を表示するステップを備える
ことを特徴とするユーザー状態分析方法。

【請求項6】

請求項１～５のいずれかに記載のユーザー状態分析方法において、
前記回答分析ステップは、受け付けられた前記ユーザーの顔の状態についての質問に対する該ユーザーによる回答と、該回答と該ユーザーの顔に現れている感情又は疲労状態との相関関係を示す第１相関関係情報と、を用いて、該ユーザーの顔に現れている感情及び疲労状態の一方又は両方の分析結果を決定するステップを含む
ことを特徴とするユーザー状態分析方法。

【請求項7】

請求項２に記載のユーザー状態分析方法において、
前記ユーザーの顔の画像を撮像するステップと、
撮像された前記ユーザーの顔の画像を分析する画像分析ステップと、
をさらに含み、
前記回答分析ステップは、前記回答を分析して前記ユーザーの顔に現れている感情又は疲労状態を指標化した、疲れの兆候スコアを決定するステップを含み、
前記ユーザー状態情報生成ステップは、
前記顔の画像の分析結果から前記ユーザーの心拍に関する情報を取得するステップと、
前記ユーザーの心拍に関する情報に基づいて、心拍に基づく疲労状態を指標化した、心拍に基づく疲労度スコアを決定するステップと、
前記疲れの兆候スコア及び前記心拍に基づく疲労度スコアに基づいて、前記ユーザーの感情又は疲労状態を指標化した、総合スコアを決定するステップと、
前記総合スコアを含む前記ユーザー状態情報を生成するステップと、を含み、
前記ソリューション決定ステップは、前記総合スコアに基づいて前記ユーザーに提供するソリューションを決定するステップを含む
ことを特徴とするユーザー状態分析方法。

【請求項8】

請求項７に記載のユーザー状態分析方法において、
前記総合スコアを決定するステップは、
前記ユーザーの心拍に関する情報と、該心拍に関する情報と該ユーザーの自律神経バランスとの相関関係を示す第２相関関係情報と、を用いて、該ユーザーの自律神経バランスに関する情報を取得するステップと、
前記自律神経バランスに関する情報を含む情報に基づいて、前記総合スコアを決定するステップと、を含む
ことを特徴とするユーザー状態分析方法。

【請求項9】

請求項２に記載のユーザー状態分析方法において、
前記ソリューション決定ステップは、
前記ユーザー状態情報に含まれる前記ユーザーの顔に現れている感情又は疲労状態に基づいて、前記ユーザーが、該ユーザーの触覚又は聴覚に対する受動的な刺激である受動的ソリューションを提供すべき第１状態にあるか、該ユーザーに所定の動作を促す能動的ソリューションを提供すべき第２状態にあるかを判定するステップと、
前記判定の結果に基づいて前記複数のソリューションから該ユーザー状態情報に応じたソリューションを決定するステップと、を含む
ことを特徴とするユーザー状態分析方法。

【請求項10】

請求項９に記載のユーザー状態分析方法において、
前記能動的ソリューションは、所定の時間継続する周期的な振動と、前記ユーザー状態を改善するための音声と、前記ユーザーに所定の方法での呼吸又は瞑想を促す情報と、の組み合わせを含み、
前記ユーザーが前記第２状態にある場合には、前記ソリューション決定ステップにおいて、前記振動と前記音声と前記ユーザーに所定の方法での呼吸又は瞑想を促す情報と、の組み合わせを含む前記能動的ソリューションを、該ユーザーに提供するソリューションとして決定する
ことを特徴とするユーザー状態分析方法。

【請求項11】

請求項１～１０のいずれかに記載のユーザー状態分析方法において、
前記ユーザーの顔の状態についての質問は、該ユーザーの通常の状態に比した、目の開き具合に関する質問を含む
ことを特徴とするユーザー状態分析方法。

【請求項12】

請求項１～１１のいずれかに記載のユーザー状態分析方法において、
前記ユーザーの顔の状態についての質問は、該ユーザーの通常の状態に比した、目の周りのクマの濃さに関する質問を含む
ことを特徴とするユーザー状態分析方法。

【請求項13】

請求項１～１２のいずれかに記載のユーザー状態分析方法において、
前記ユーザーの顔の状態についての質問は、該ユーザーの通常の状態に比した、ニキビ又は吹き出物の状態に関する質問を含む
ことを特徴とするユーザー状態分析方法。

【請求項14】

請求項１～１３のいずれかに記載のユーザー状態分析方法において、
前記ユーザーの顔の状態についての質問は、該ユーザーの通常の状態に比した、口角の上がり具合又は下がり具合に関する質問を含む
ことを特徴とするユーザー状態分析方法。

【請求項15】

請求項１～１４のいずれかに記載のユーザー状態分析方法において、
前記ユーザーの顔の状態についての質問は、該ユーザーの通常の状態に比した、唇の潤いの状態に関する質問を含む
ことを特徴とするユーザー状態分析方法。

【請求項16】

請求項３に記載のユーザー状態分析方法において、
前記ユーザーの顔の画像を撮像するステップは、前記入力受付ステップの前又は後に実行され、
前記画像分析ステップは、前記入力受付ステップの前又は後に撮像された前記ユーザーの顔の画像を分析するステップである
ことを特徴とするユーザー状態分析方法。

【請求項17】

請求項３に記載のユーザー状態分析方法において、
前記ユーザーの顔の画像を撮像するステップは、前記入力受付ステップの実行中に実行され、
前記画像分析ステップは、前記入力受付ステップの実行中に撮像された前記ユーザーの顔の画像を分析するステップである
ことを特徴とするユーザー状態分析方法。

【請求項18】

請求項３に記載のユーザー状態分析方法において、
前記ユーザーの顔の画像を撮像するステップは、前記入力受付ステップの前又は実行中に実行され、
前記画像分析ステップは、前記入力受付ステップの実行中に実行される
ことを特徴とするユーザー状態分析方法。

【請求項19】

ユーザーの顔の画像を撮像する撮像部と、
情報を表示する表示部と、
前記撮像部に、前記ユーザーの顔の画像を撮像させる撮像制御部と、
前記撮像部により撮像された前記ユーザーの顔の画像を前記表示部に表示すると共に、該表示部に表示された該ユーザーの顔に現れている感情又は疲労状態と相関関係を有する、顔の状態についての質問を該表示部に表示する表示制御部と、
前記ユーザーが、前記表示部に表示される該ユーザーの顔の画像及び、前記質問を見ながら操作を行える位置に配置された入力部と、
前記入力部を介して、前記質問に対する前記ユーザーによる回答の入力を前記顔の画像を前記表示部に表示させた状態で受け付ける入力受付部と、
前記入力受付部により受け付けられた、前記質問に対する前記ユーザーによる回答を分析する回答分析部と、
前記回答分析部による分析結果に基づいて、前記ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を示すユーザー状態情報を生成するユーザー状態情報生成部と、を備える
ことを特徴とするユーザー状態分析システム。

【請求項20】

ユーザーの顔を映す鏡部と、
前記ユーザーが前記鏡部に写る該ユーザーの顔と同時に見ることができる位置に配置されて、情報を表示する表示部と、
前記鏡部に写る前記ユーザーの顔に現れている感情又は疲労状態と相関関係を有する、顔の状態についての質問を前記表示部に表示する表示制御部と、
前記ユーザーが、前記鏡部に写る該ユーザーの顔及び、前記表示部に表示された前記質問を見ながら操作を行える位置に配置された入力部と、
前記入力部を介して、前記ユーザーの顔の状態についての質問に対する該ユーザーによる回答の入力を前記鏡部に写る該ユーザーの顔の映像を見せた状態で受け付ける入力受付部と、
前記入力受付部により受け付けられた、前記ユーザーの顔の状態についての質問に対する該ユーザーによる回答を分析する回答分析部と、
前記回答分析部による分析結果に基づいて、前記ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を示すユーザー状態情報を生成するユーザー状態情報生成部と、を備える
ことを特徴とするユーザー状態分析システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザーの感情又は疲労状態を分析する方法及びシステムに関する。

【背景技術】

【0002】

従来、疲労度の判定処理システムが知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開2010-201113号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の発明では、ＬＦ／ＨＦ値と自身の疲労状態に関するアンケート結果とに基づいて、ユーザーの疲労度を判定している。

【0005】

特許文献１に記載の発明を、ユーザーの感情又は疲労状態を分析する方法及びシステムに応用することが考えられる。

【0006】

ところで、客観的なデータに基づく感情又は疲労状態の分析結果が、ユーザー自身が考える感情又は疲労状態と食い違う場合がある。すなわち例えば、肌の画像などの客観的な情報を分析すると相当ストレスを感じている、あるいは疲れが溜まっているという分析結果が出るにも関わらず、本人にその自覚がない場合には、このような食い違いが起こりうる。

【0007】

あるいはその反対に、客観的にはそれほどストレスを感じておらず、又は疲労が蓄積されていないにも関わらず、本人はストレス状態にあり、あるいは疲れていると思い込んでいる結果、上記のような食い違いが起こることもある。

【0008】

しかしながら特許文献１の発明においては、ユーザー自身への疲労状態に関するアンケート結果を用いてユーザーの疲労度を判定しているので、自身の疲労状態に関する自覚がない、又は必要以上に疲れていると思い込んでいるユーザーから、疲労状態に関する正しい回答を得られる確実性は低い。

【0009】

また、そのような不確実な情報に基づく分析結果は高い精度が期待できない。

【0010】

そこで本発明は、ユーザーの感情又は疲労状態をユーザー自身に自覚させつつ精度よく分析できるユーザー状態分析方法及びユーザー状態分析システムを提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明のユーザー状態分析方法は、
ユーザーの顔の映像を該ユーザーに見せると共に、該ユーザーの顔に現れている感情又は疲労状態と相関関係を有する、顔の状態についての質問を表示するステップを含み、
前記ユーザーの顔の状態についての質問に対する該ユーザーによる回答を、前記顔の映像を該ユーザーに見せている状態で受け付ける入力受付ステップと、
前記ユーザーの顔の状態についての質問に対する該ユーザーによる回答を分析する回答分析ステップと、
前記回答の分析結果に基づいて、前記ユーザーの顔に現れている感情及び疲労状態の一方又は両方を含むユーザー状態を示すユーザー状態情報を生成するユーザー状態情報生成ステップと、を備える
ことを特徴とする。

【0012】

本発明によれば、ユーザーの顔の映像が該ユーザーに見せられると共に、表示されたユーザーの顔の状態についての質問が表示される。なお当該質問は、ユーザーの顔に現れている感情又は疲労状態と相関関係を有する顔の状態についての質問である。

【0013】

そして、当該質問に対するユーザーによる回答の入力が顔の画像を表示させた状態で受け付けられて、当該回答が分析される。

【0014】

また、回答の分析結果に基づいて、ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を示すユーザー状態情報が生成される。

【0015】

本発明によれば、ユーザーは自身の顔を見ながら顔の状態に関する質問に回答するため、回答は容易である。また、自身の顔の状態を冷静に顧みる機会を得られるので、感情又は疲労状態と密接な関係を有する顔の状態についての自覚が促され、自身の顔の状態を正確に回答できる可能性が高まる。

【0016】

これにより、ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を示すユーザー状態情報を精度よく生成できる。

【0017】

このように本発明によれば、ユーザーの感情又は疲労状態をユーザー自身に自覚させつつ精度よく分析できる。

【0018】

本発明のユーザー状態分析方法において、
前記ユーザーの前記ユーザー状態を改善するための、該ユーザーに提供可能な複数のソリューションから、前記ユーザー状態情報に応じたソリューションを決定するソリューション決定ステップと、
決定された前記ソリューションを前記ユーザーに提供するステップと、を備える
ことが好ましい。

【0019】

本発明によれば、ユーザー状態を改善するための、ユーザーに提供可能な複数のソリューションからユーザー状態情報に応じたソリューションがユーザー状態情報に応じて決定されて、決定されたソリューションがユーザーに提供される。

【0020】

これにより、ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を示すユーザー状態情報を精度よく生成するとともに、それに応じた適切なソリューションを簡便に提供して、ユーザー状態を改善することができる。

【0021】

本発明のユーザー状態分析方法において、
前記ユーザーの顔の画像を撮像するステップと、
撮像された前記ユーザーの顔の画像を分析する画像分析ステップと、
をさらに含み、
前記ユーザー状態情報生成ステップは、前記回答及び前記顔の画像の分析結果に基づいて、前記ユーザー状態情報を生成するステップである
ことが好ましい。

【0022】

本発明によれば、顔の状態に対する質問への回答というユーザーの主観的な情報に加えて、顔の画像の分析結果という客観的な情報をも用いてユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を示すユーザー状態情報が生成される。

【0023】

そのため、質問への回答からでは得られない情報も考慮してユーザー状態情報が生成されるので、ユーザー状態情報をより精度よく生成して、それに応じた適切なソリューションを提供できる。

【0024】

本発明のユーザー状態分析方法において、
生成された前記ユーザー状態情報を表示するステップを備える
ことが好ましい。

【0025】

本発明によれば、生成されたユーザー状態情報が表示されるため、ユーザー自身に自らの感情又は疲労状態を認識させることができるので、ユーザーの感情又は疲労状態をユーザー自身に効果的に自覚させることができる。

【0026】

本発明のユーザー状態分析方法において、
生成した前記ユーザー状態情報を時系列的に記憶するステップと、
前記ユーザーの操作に応じて、記憶されている前記ユーザー状態情報を表示するステップを備える
ことが好ましい。

【0027】

本発明によれば、ユーザーの操作に応じて、過去のユーザー状態情報を表示させることができる。そのため、ユーザーの顔に現れている感情又は疲労状態の変化の有無、変化の度合いをユーザー自身が随時に知ることができるので、ユーザーの感情又は疲労状態をユーザー自身に効果的に自覚させることができる。

【0028】

本発明のユーザー状態分析方法において、
前記回答分析ステップは、受け付けられた前記ユーザーの顔の状態についての質問に対する該ユーザーによる回答と、該回答と該ユーザーの顔に現れている感情又は疲労状態との相関関係を示す第１相関関係情報と、を用いて、該ユーザーの顔に現れている感情及び疲労状態の一方又は両方の分析結果を決定するステップを含む
ことが好ましい。

【0029】

本発明によれば、第１相関関係情報という具体的な情報を用いて、ユーザーの顔に現れている感情及び疲労状態の一方又は両方の分析結果が決定されるので、ユーザーの顔に現れている感情及び疲労状態の一方又は両方を精度よく分析できる。

【0030】

本発明のユーザー状態分析方法において、
前記ユーザーの顔の画像を撮像するステップと、
撮像された前記ユーザーの顔の画像を分析する画像分析ステップと、
をさらに含み、
前記回答分析ステップは、前記回答を分析して前記ユーザーの顔に現れている感情又は疲労状態を指標化した、疲れの兆候スコアを決定するステップを含み、
前記ユーザー状態情報生成ステップは、
前記顔の画像の分析結果から前記ユーザーの心拍に関する情報を取得するステップと、
前記ユーザーの心拍に関する情報に基づいて、心拍に基づく疲労状態を指標化した、心拍に基づく疲労度スコアを決定するステップと、
前記疲れの兆候スコア及び前記心拍に基づく疲労度スコアに基づいて、前記ユーザーの感情又は疲労状態を指標化した、総合スコアを決定するステップと、
前記総合スコアを含む前記ユーザー状態情報を生成するステップと、を含み、
前記ソリューション決定ステップは、前記総合スコアに基づいて前記ユーザーに提供するソリューションを決定するステップを含む
ことが好ましい。

【0031】

本発明によれば、ユーザーの顔に現れている感情又は疲労状態を指標化した疲れの兆候スコアと、心拍に基づく疲労度スコアという多面的な観点から導き出された総合スコアに基づいてユーザーに提供するソリューションが決定されるので、ユーザーの総合的な疲労状態に応じた適切なソリューションを提供できる。

【0032】

本発明のユーザー状態分析方法において、
前記総合スコアを決定するステップは、
前記ユーザーの心拍に関する情報と、該心拍に関する情報と該ユーザーの自律神経バランスとの相関関係を示す第２相関関係情報と、を用いて、該ユーザーの自律神経バランスに関する情報を取得するステップと、
前記自律神経バランスに関する情報を含む情報に基づいて、前記総合スコアを決定するステップと、を含む
ことが好ましい。

【0033】

本発明によれば、自律神経バランスに関する情報を加えた、より多面的な観点から導き出された総合スコアに基づいてユーザーに提供するソリューションが決定されるので、ユーザーの総合的な疲労状態に応じたより適切なソリューションを提供できる。

【0034】

本発明のユーザー状態分析方法において、
前記ソリューション決定ステップは、
前記ユーザー状態情報に含まれる前記ユーザーの顔に現れている感情又は疲労状態に基づいて、前記ユーザーが、該ユーザーの触覚又は聴覚に対する受動的な刺激である受動的ソリューションを提供すべき第１状態にあるか、該ユーザーに所定の動作を促す能動的ソリューションを提供すべき第２状態にあるかを判定するステップと、
前記判定の結果に基づいて前記複数のソリューションから該ユーザー状態情報に応じたソリューションを決定するステップと、を含む
ことが好ましい。

【0035】

所定の動作には、ユーザーの感情や疲労状態を改善する効果があるが、ユーザーの感情又は疲労状態が所定の動作を取らせるのに適切な状態でなければ、触覚又は聴覚に対する受動的な刺激などの受動的なソリューションを提供することが、ユーザーの感情や疲労状態の改善に効果的である。

【0036】

本発明によれば、ユーザーの顔に現れている感情又は疲労状態に基づいて、ユーザーが、触覚又は聴覚に対する受動的な刺激である受動的ソリューションを提供すべき第１状態にあるか、所定の動作を促す能動的ソリューションを提供すべき第２状態にあるかが判定される。

【0037】

そして、当該判定の結果に基づいてソリューションが決定されるので、ユーザーの感情や疲労状態に応じてソリューションの種類を適切に変えて提供することができる。

【0038】

本発明のユーザー状態分析方法において、
前記能動的ソリューションは、所定の時間継続する周期的な振動と、前記ユーザー状態を改善するための音声と、前記ユーザーに所定の方法での呼吸又は瞑想を促す情報と、の組み合わせを含み、
前記ユーザーが前記第２状態にある場合には、前記ソリューション決定ステップにおいて、前記振動と前記音声と前記ユーザーに所定の方法での呼吸又は瞑想を促す情報と、の組み合わせを含む前記能動的ソリューションを、該ユーザーに提供するソリューションとして決定する
ことが好ましい。

【0039】

所定の呼吸法及び瞑想には、感情を落ち着かせ、疲労を改善し、あるいは人を覚醒した状態に導く効果がある。

【0040】

本発明によれば、ユーザーに所定の動作を促す能動的ソリューションを提供すべき第２状態にある場合には、所定の方法での呼吸又は瞑想を促す情報を含むソリューションが決定されるので、効果的にユーザー状態を改善することができる。

【0041】

本発明者らの検討により、通常の状態に比した、「目の開き具合」、「目の周りのクマの濃さ」、「ニキビ又は吹き出物の状態」、「口角の上がり具合又は下がり具合」、「唇の潤いの状態」を含む、人の顔の状態に関する質問への回答と、当該人の顔に現れている感情又は疲労状態との間には、有意な相関関係が存在していることが判明した。

【0042】

なお、感情とは例えば、幸せの４因子、バーンアウトの状態、人生満足度、ＰＡＮＡＳ尺度によるネガティブさ又はポジティブさ、レジリエンスの度合、主観的幸福感尺度、ストレス耐性である。

【0043】

また、疲労状態とは例えば、不眠症の状態、身体疲労度、精神疲労度、体内の疲労成分の状態である。

【0044】

より具体的には、本実施形態における身体疲労度、精神疲労度としては、例えばＣｈａｌｄｅｒ疲労質問票の総スコアに相当する値が含まれるほか、文部科学省による生活者ニーズ対応研究「疲労及び疲労感の分子・神経メカニズムとその防御に関する研究」で作成された「自己診断疲労度チェックリスト」による、身体的評価、精神的評価、及び総合評価に相当する値が含まれる。

【0045】

不眠症の状態とは、例えばアテネ不眠尺度が含まれる。

【0046】

体内の疲労成分としては、例えば酸化生成物である８ＯＨｄＧ（８－ｈｙｄｒｏｘｙ－２’－ｄｅｏｘｙｇｕａｎｏｓｉｎｅ）及びイソプラスタン、酸化ストレス度を表すｄＲＯＭｓ（Ｄｉａｃｒｏｎ Ｒｅａｃｔｉｖｅ Ｏｘｙｇｅｎ Ｍｅｔａｂｏｌｉｔｅｓ）が含まれる。

【0047】

幸せの４つの因子とは、前野隆司氏が作成した幸せの４つの因子のアンケートによる第１～第４の各因子の値である。具体的には、第１因子は、「やってみよう！」因子（自己実現と成長の因子）であり、本実施形態における自己実現又は成長に対する満足感の度合に該当する。第２因子は、「ありがとう！」因子（つながりと感謝の因子）であり、本実施形態における他者との良好な関係性又は他者への感謝の感情の度合もしくは前向きさに該当する。第３因子は、「なんとかなる！」因子（まえむきと楽観の因子）であり、本実施形態における楽観性又は自己肯定感の度合である。第４因子は、「あなたらしく！」因子（独立とマイペースの因子）である。

【0048】

バーンアウトの状態とは、例えばＭＢＩ（Ｍａｓｌａｃｈ Ｂｕｒｎｏｕｔ Ｉｎｖｅｎｔｏｒｙ）による、情緒的消耗感、脱人格化、個人的達成感の低下の尺度に相当する値が含まれる。

【0049】

人生満足度とは、人生に対する満足感の度合であり、例えばＥｄ Ｄｉｅｎｅｒによる人生満足尺度（ＳＷＬＳ：Ｓａｔｉｓｆａｃｔｉｏｎ Ｗｉｔｈ Ｌｉｆｅ Ｓｃａｌｅ）に相当する値が含まれる。

【0050】

ＰＡＮＡＳ尺度によるネガティブさ又はポジティブさとは、Ｗａｔｓｏｎ、Ｃｌａｒｋ、ＴｅｌｌｅｇｅｎらによるＰＡＮＡＳ（Ｐｏｓｉｔｉｖｅ ａｎｄ Ｎｅｇａｔｉｖｅ Ａｆｆｅｃｔ Ｓｃｈｅｄｕｌｅ）尺度に含まれる評定の尺度であり、例えばポジティブ情動８項目、ネガティブ情動８項目からなる簡易気分評定の尺度である。

【0051】

レジリエンスの度合とは、心理的な傷つきから立ち直る回復力であり、例えば平野真理氏が「レジリエンスの資質的要因・獲得的要因の分類の試み」にて提唱した二次元レジリエンス要因尺度が含まれる。

【0052】

主観的幸福感尺度とは、心理的健康の尺度の一種であり、例えばＷＨＯが作成した主観的健康感尺度（ＳＵＢＩ）の「人生に対する前向きの気持ち」、「達成感」、「自信」、「至福感」、「人生に対する失望感」の５領域（各３項目）の尺度が含まれる。

【0053】

ストレス耐性とは、心理社会的ストレスに対するストレス耐性であり、例えば桂戴作氏らが作成した「ストレス耐性チェックリスト」によるストレス耐性度が含まれる。

【0054】

当該知見を応用した、本実施形態におけるユーザー状態分析方法の構成、作用、効果は以下の通りである。

【0055】

本発明のユーザー状態分析方法において、
前記ユーザーの顔の状態についての質問は、該ユーザーの通常の状態に比した、目の開き具合に関する質問を含む
ことが好ましい。

【0056】

本発明のユーザー状態分析方法において、
前記ユーザーの顔の状態についての質問は、該ユーザーの通常の状態に比した、目の周りのクマの濃さに関する質問を含む
ことが好ましい。

【0057】

本発明のユーザー状態分析方法において、
前記ユーザーの顔の状態についての質問は、該ユーザーの通常の状態に比した、ニキビ又は吹き出物の状態に関する質問を含む
ことが好ましい。

【0058】

本発明のユーザー状態分析方法において、
前記ユーザーの顔の状態についての質問は、該ユーザーの通常の状態に比した、口角の上がり具合又は下がり具合に関する質問を含む
ことが好ましい。

【0059】

本発明のユーザー状態分析方法において、
前記ユーザーの顔の状態についての質問は、該ユーザーの通常の状態に比した、唇の潤いの状態に関する質問を含む
ことが好ましい。

【0060】

本発明によれば、ユーザーの感情又は疲労状態に密接な関連を有し、かつ自身の顔の画像を見て自ら簡単に判断することのできる、ユーザーの通常の状態に比した「目の開き具合」、「目の周りのクマの濃さ」、「ニキビ又は吹き出物の状態」、「口角の上がり具合又は下がり具合」及び／又は「唇の潤いの状態」という具体的な顔の状態の情報が取得されるので、ユーザーの感情又は疲労状態を精度よくかつ簡便に分析できる。

【0061】

また、ユーザーは自身の感情又は疲労状態を知るためには、自分の顔のどの部分の状態を見ればよいかが分かる。そのため、日常生活においてもこれらの顔の部分を気にかけるようになるので、自身の顔に現れている感情又は疲労状態の自覚がより効果的に促される。

【0062】

本発明のユーザー状態分析方法において、
前記ユーザーの顔の画像を撮像するステップは、前記入力受付ステップの前又は後に実行され、
前記画像分析ステップは、前記入力受付ステップの前又は後に撮像された前記ユーザーの顔の画像を分析するステップである
ことが好ましい。

【0063】

顔の状態についての質問に対する回答の入力操作をユーザーが行っている間に、ユーザーの顔の画像を撮像すると、ユーザーは顔の画像の撮像に集中しておらず手ぶれなどが生じるので、例えば手ぶれを補正する機能を有する装置で撮像を行わないと、撮像位置などがずれてしまい、結果として画像の分析の精度を保つことが難しくなる可能性がある。

【0064】

そのため、ユーザーが顔の画像の撮像に集中できる状態でユーザーの顔の画像を撮像できればなおよい。

【0065】

本発明によれば、ユーザーの顔の画像を撮像するステップは、入力受付ステップの前又は後に実行される。そのため、ユーザーに顔の画像の撮像に集中させた状態で顔画像を取得できるので、撮像位置などがずれる可能性を軽減でき、画像分析の精度を保つことができる。

【0066】

本発明のユーザー状態分析方法において、
前記ユーザーの顔の画像を撮像するステップは、前記入力受付ステップの実行中に実行され、
前記画像分析ステップは、前記入力受付ステップの実行中に撮像された前記ユーザーの顔の画像を分析するステップである
ことが好ましい。

【0067】

あるいは、本発明のユーザー状態分析方法において、
前記ユーザーの顔の画像を撮像するステップは、前記入力受付ステップの前又は実行中に実行され、
前記画像分析ステップは、前記入力受付ステップの実行中に実行される
ことが好ましい。

【0068】

顔の状態についての質問に対する回答の入力と、分析に必要な顔の画像の撮像には、一定の時間を要することが考えられるが、そのような操作に要する時間が長いと、ユーザーは煩わしく感じて、ユーザーの感情又は疲労状態に及ぼしてしまうことが考えられる。あるいはその煩わしさのために操作をやめてしまい、結果としてユーザーの感情又は疲労状態をユーザー自身に自覚させることができないおそれがある。

【0069】

本発明によれば、ユーザーの顔の画像を撮像するステップ又は画像分析ステップは、入力受付ステップの実行中に実行されるため、操作等に要する時間がその分短縮されるので効率的であり、ユーザーに煩わしさを感じさせてしまう可能性を低減できる。

【0070】

本発明のユーザー状態分析システムは、
前記ユーザーの顔の画像を撮像する撮像部と、
情報を表示する表示部と、
前記撮像部に、前記ユーザーの顔の画像を撮像させる撮像制御部と、
前記撮像部により撮像された前記ユーザーの顔の画像を前記表示部に表示すると共に、該表示部に表示された該ユーザーの顔に現れている感情又は疲労状態と相関関係を有する、顔の状態についての質問を該表示部に表示する表示制御部と、
前記ユーザーが、前記表示部に表示される該ユーザーの顔の画像及び、前記質問を見ながら操作を行える位置に配置された入力部と、
前記入力部を介して、前記質問に対する前記ユーザーによる回答の入力を前記顔の画像を前記表示部に表示させた状態で受け付ける入力受付部と、
前記入力受付部により受け付けられた、前記質問に対する前記ユーザーによる回答を分析する回答分析部と、
前記回答分析部による分析結果に基づいて、前記ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を示すユーザー状態情報を生成するユーザー状態情報生成部と、を備える
ことを特徴とする。

【0071】

あるいは本発明のユーザー状態分析システムは、
前記ユーザーの顔を映す鏡部と、
前記ユーザーが前記鏡部に写る該ユーザーの顔と同時に見ることができる位置に配置されて、情報を表示する表示部と、
前記鏡部に写る前記ユーザーの顔に現れている感情又は疲労状態と相関関係を有する、顔の状態についての質問を前記表示部に表示する表示制御部と、
前記ユーザーが、前記鏡部に写る該ユーザーの顔及び、前記表示部に表示された前記質問を見ながら操作を行える位置に配置された入力部と、
前記入力部を介して、前記ユーザーの顔の状態についての質問に対する該ユーザーによる回答の入力を前記鏡部に写る該ユーザーの顔の映像を見せた状態で受け付ける入力受付部と、
前記入力受付部により受け付けられた、前記ユーザーの顔の状態についての質問に対する該ユーザーによる回答を分析する回答分析部と、
前記回答分析部による分析結果に基づいて、前記ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を示すユーザー状態情報を生成するユーザー状態情報生成部と、を備える
ことを特徴とする。

【0072】

本発明によれば、ユーザーは自身の顔を見ながら顔の状態に関する質問に回答するため、回答は容易である。また、自身の顔の状態を冷静に顧みる機会を得られるので、感情又は疲労状態と密接な関係を有する顔の状態についての自覚が促され、自身の顔の状態を正確に回答できる可能性が高まる。

【0073】

これにより、ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を示すユーザー状態情報を精度よく生成できる。

【図面の簡単な説明】

【0074】

【図1】本発明のユーザー状態分析システムの全体像を示すブロック図。

【図2】本発明のユーザー状態分析方法の処理内容を示すフローチャート。

【図3】本発明のユーザー状態分析方法の表示内容を示す図。

【図4】本発明のユーザー状態分析方法の表示内容を示す図。

【図5】本発明のユーザー状態分析方法の処理内容を示すフローチャート。

【図6】本発明のユーザー状態分析方法の処理内容を示すフローチャート。

【図7】本発明のユーザー状態分析方法の処理内容を示すフローチャート。

【図8】本発明のユーザー状態分析方法の処理内容を示すフローチャート。

【図9】本発明のユーザー状態分析方法が提供するソリューションの例を示す図。

【図10】本発明のユーザー状態分析方法が提供するソリューションの例を示す図。

【図11】本発明のユーザー状態分析方法の表示内容を示す図。

【発明を実施するための形態】

【0075】

＜ユーザー状態分析システムの構成＞
まず図１を用いて、本実施形態のユーザー状態分析方法に用いられる、ユーザー状態分析システムの構成について説明する。なお同一の構成については、同一の符号を付して説明を省略することがある。

【0076】

本実施形態のユーザー状態分析システムは、例えば携帯端末１０と、サーバー３０とを含んで構成される、コンピューターネットワークシステムである。

【0077】

携帯端末１０とサーバー３０との間は、携帯電話網などの通信ネットワーク９０により相互に通信可能に接続される。なお携帯端末１０とサーバー３０は、いずれも複数であってよい。

【0078】

携帯端末１０は、例えば撮像部１１０と、表示部１３０と、携帯端末制御部１５０と、振動発生部１７０と、音声再生部１９０と、入力部２１０と、を含んで構成される。本実施形態において携帯端末１０はスマートフォンであるが、例えばタブレット端末等の汎用的な端末であってもよく、ユーザーが携帯可能な専用端末であってよい。

【0079】

撮像部１１０は、ユーザーの顔の画像を撮像するカメラである。本実施形態においては、携帯端末１０はスマートフォンであるので、インカメラ及びアウトカメラの両方が撮像部１１０に該当する。

【0080】

表示部１３０は、ユーザーに向けて情報を表示するディスプレイである。

【0081】

携帯端末制御部１５０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算処理装置、メモリ、及びＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）デバイスなどにより構成されている。携帯端末制御部１５０は、所定のプログラムを読み込んで実行することにより例えば撮像制御部１５１、表示制御部１５３、入力受付部１５５として機能し、あるいはさらに、画像分析部１５７、ソリューション提供部１５９、モード指定受付部１６１として機能する。

【0082】

撮像制御部１５１は、撮像部１１０に、ユーザーＵの顔又は手指の肌の画像を撮像させる。

【0083】

表示制御部１５３は、撮像部１１０により撮像されたユーザーＵの顔の画像を表示部１３０に表示すると共に、表示部１３０に表示されたユーザーＵの顔の状態についての質問を表示部１３０に表示する。なお当該質問は、表示部１３０に表示されたユーザーＵの顔に現れている感情又は疲労状態と相関関係を有する、顔の状態についての質問である。

【0084】

入力受付部１５５は、入力部２１０を介してユーザーＵの顔の状態についての質問に対するユーザーによる回答の入力を顔の画像を表示部１３０に表示させた状態で受け付ける。

【0085】

画像分析部１５７は、撮像部１１０により撮像されたユーザーＵの顔又は手指の肌の画像を分析する。

【0086】

ソリューション提供部１５９は、ソリューション決定部３３５により決定されたソリューションをユーザーＵに提供する。

【0087】

モード指定受付部１６１は、ユーザーＵによる、ユーザー状態分析システムの動作モードの指定を受け付ける。

【0088】

振動発生部１７０は、ソリューションに含まれる、所定の時間継続する周期的な振動であって、振動の開始時から終了時にかけて段階的に周期が変動する振動をユーザーＵに提供する例えばバイブレーターである。

【0089】

音声再生部１９０は、ソリューションに含まれる、ユーザー状態を改善するための人の声、自然音又は音楽を含む、所定の時間継続する音声をユーザーＵに提供する例えばスピーカーである。

【0090】

入力部２１０は、ユーザーによる入力を受け付ける例えばタッチパネル、キーボード又はマウスその他のポインティングデバイスである。

【0091】

なお、携帯端末１０がスマートフォン、タブレットであれば入力部２１０は、通常タッチパネルであるので、表示部１３０に表示される顔の画像、顔の状態のついての質問を見ながら、ユーザーが当該質問に対する回答を入力できるが、その他の機器により構成される場合においても、表示部１３０と入力部２１０とは、顔の映像と顔の状態のついての質問を見ながら回答を入力できる位置関係に配置される。

【0092】

サーバー３０は、サーバー記憶部３１０と、サーバー制御部３３０と、を含んで構成される、例えばコンピューターである。サーバー３０は、複数であっても単数であってもよい。

【0093】

サーバー記憶部３１０は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶装置により構成されている。サーバー記憶部３１０が、本実施形態における記憶部として機能する。

【0094】

サーバー記憶部３１０は、例えばユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための、該ユーザーに提供可能な複数のソリューションの情報を記憶しているほか、ユーザー状態分析システムの処理結果、ユーザー状態分析システムの処理に必要な情報を記憶している。

【0095】

サーバー制御部３３０は、ＣＰＵ等の演算処理装置、メモリ、及びＩ／Ｏデバイスなどにより構成されている。サーバー制御部３３０は、所定のプログラムを読み込んで実行することにより例えば回答分析部３３１、ユーザー状態情報生成部３３３として機能し、あるいはさらに、ソリューション決定部３３５、心拍取得部３３７、状態判定部３３９として機能する。

【0096】

回答分析部３３１は、入力受付部１５５により受け付けられた、ユーザーＵの顔の状態についての質問に対するユーザーＵによる回答を分析する。

【0097】

ユーザー状態情報生成部３３３は、回答分析部３３１及び画像分析部１５７による分析結果に基づいて、ユーザーＵのユーザー状態を示すユーザー状態情報を生成する。

【0098】

ソリューション決定部３３５は、複数のソリューションからユーザー状態情報に応じたソリューションを決定する。

【0099】

心拍取得部３３７は、画像分析部１５７によるユーザーＵの顔又は手指の肌の画像の分析結果からユーザーＵの心拍に関する情報である、例えばユーザーＵの心拍数を取得する。

【0100】

状態判定部３３９は、ユーザー状態情報に基づいてユーザーＵが、ユーザーＵの触覚又は聴覚に対する受動的な刺激である受動的ソリューションを提供すべき第１状態にあるか、ユーザーＵに所定の動作を促す能動的ソリューションを提供すべき第２状態にあるかを判定する。

【0101】

＜処理の概要＞
次に、図２～図１１を参照して本実施形態のユーザー状態分析方法による一連の工程について説明する。

【0102】

＜モード指定受付ステップ＞
一連の処理を始めると、まずモード指定受付部１６１は、ユーザーＵによる、動作モードの指定を受け付けるモード指定受付ステップを実行する（図２／Ｓ１０）。

【0103】

モード指定受付部１６１は例えば、ユーザーＵに動作モードの入力を促す画面を、表示部１３０に表示する。

【0104】

図３は、ユーザーＵに動作モードの入力を促す画面の一例である。図３では、顔モードに該当する「Ｍｉｄｎｉｇｈｔ Ｂｌｕｅ」を指定するためのアイコンＭ１と、第１指モードに該当する「Ｒｅｄ」を指定するためのアイコンＭ２１、第２指モードに該当する「Ｂｌｕｅ」を指定するためのアイコンＭ２２、第３指モードに該当する「Ｇｒｅｅｎ」を指定するためのアイコンＭ２３が表示されている。

【0105】

いずれかのアイコンをユーザーＵがタップすると、モード指定受付部１６１は対応するモードの指定を受け付けて本ステップを終了する。

【0106】

なお本実施形態においては、第１指モードはユーザーＵを覚醒した状態に誘導するためのモードであり、第２指モードはユーザーＵをリラックスした状態に誘導するためのモードであり、第３指モードはユーザーＵを冷静な状態に誘導するためのモードである。

【0107】

また同画面には「Ｈｉｓｔｏｒｙ」のアイコンＨ１も表示されている。ユーザーＵが当該アイコンをタップする操作をすると、当該操作に応じて表示制御部１５３はサーバー記憶部３１０に記憶されているユーザー状態情報を取得して、表示部１３０に表示させる。

【0108】

＜第１撮像ステップ＞
動作モードとして顔モードが指定された場合には（図２／Ｓ２０：顔モード）、撮像制御部１５１は、撮像部１１０に、ユーザーＵの顔の画像を撮像させる第１撮像ステップを実行する。

【0109】

このとき撮像制御部１５１は例えば、撮像部１１０であるインカメラを介して、顔画像・質問表示ステップで表示部１３０に表示させるためのユーザーＵの顔の画像の撮像を開始する。あるいはこのとき撮像制御部１５１は、例えば顔画像・質問表示ステップで表示部１３０に表示させるためのユーザーＵの顔の静止画を１枚撮像してもよい。

【0110】

一方、動作モードとして指モードに該当するモードが指定された場合には（図２／Ｓ２０：指モード）、図２／Ｓ３０～Ｓ７０の処理は実行されず、図２／Ｓ９０以降の処理が実行される。

【0111】

＜顔画像・質問表示ステップ＞
次に表示制御部１５３は、ユーザーＵの顔の映像を見せると共に、ユーザーＵの顔に現れている感情又は疲労状態と相関関係を有する、顔の状態についての質問を表示する顔画像・質問表示ステップを実行する（図２／Ｓ５０）。

【0112】

図４は、顔画像・質問表示ステップにおいて表示される画面の一例である。表示制御部１５３は例えば図４に示すように、撮像されたユーザーＵの顔の画像Ｆと、顔の状態についての１問目の質問である「目の開き具合はいつもと比べて」の表示Ｑ１と、回答ボタンＡ１を表示部１３０に表示する。

【0113】

表示制御部１５３は例えば図４に示すように、回答ボタンＡ１中の、「開いている」から「閉じている」までの５段階評価の何れかをタップして顔の状態を回答するように促す画面を表示する。

【0114】

＜入力受付ステップ＞
入力受付部１５５は例えば、表示制御部１５３が上記のように１問目の質問を表示したときに、ユーザーＵの顔の状態についての質問に対するユーザーＵによる回答の入力を、顔の映像をユーザーＵに見せている状態で受け付ける入力受付ステップを開始する（図２／Ｓ７０）。

【0115】

回答ボタンＡ１の５段階評価のいずれかの部位をユーザーＵがタップすると、入力受付部１５５は該当する評価値を質問への回答の入力として受け付ける。

【0116】

なお、図２／Ｓ５０及びＳ７０の処理は、最後の質問への回答が入力される（図２／Ｓ８０：Ｙｅｓ）まで繰り返し実行される。

【0117】

すなわち例えば、表示制御部１５３はユーザーの顔の状態についての２～５問目の質問として、該ユーザーの通常の状態に比した、目の周りのクマの濃さに関する質問、ニキビ又は吹き出物の状態に関する質問、口角の上がり具合又は下がり具合に関する質問、唇の潤いの状態に関する質問を順に表示して、入力受付部１５５はこれらの各質問へのユーザーＵによる回答の入力を受け付ける。

【0118】

そして入力受付部１５５は例えば、このようにして受け付けた、各質問へのユーザーＵによる回答の情報をサーバー３０に送信して入力受付ステップを終了する。

【0119】

＜第２撮像ステップ＞
その後、撮像制御部１５１は、画像分析ステップで分析を行うためのユーザーＵの顔又は手指の肌の画像を撮像する第２撮像ステップを実行する。

【0120】

なおこのとき撮像制御部１５１は、顔モードが指定されている場合（図５／Ｓ９１：顔モード）には、撮像部１１０であるインカメラを介して、ユーザーＵの顔の画像を撮像して（図５／Ｓ９３）第２撮像ステップを終了する。

【0121】

一方、指モードが指定されている場合（図５／Ｓ９１：指モード）に撮像制御部１５１は、撮像部１１０であるアウトカメラを介して、ユーザーＵの手指の肌の画像を撮像して（図５／Ｓ９５）第２撮像ステップを終了する。

【0122】

なおこのとき表示制御部１５３は例えば、ユーザーＵの顔又は手指の位置を正しい位置に誘導するための枠を表示部１３０に表示して、撮像制御部１５１はユーザーＵの顔又は手指が正しい位置にあることを認識したときに、撮像部１１０を介してユーザーＵの顔又は手指の肌の動画を所定の時間（例えば３０秒など。）撮像する。

【0123】

また、撮像制御部１５１は例えば、当該動画の撮像中にユーザーＵの顔又は手指が正しい位置からずれた場合には動画の撮像を停止し、表示制御部１５３はユーザーＵの顔又は手指の位置を正しい位置に戻すように促すメッセージを表示部１３０に表示する。そして撮像制御部１５１は、ユーザーＵの顔又は手指が正しい位置に戻ったことを認識したときに、ユーザーＵの顔又は手指の肌の動画の撮像を再開する。あるいは撮像制御部１５１が撮像する画像は、連続的に撮像した複数の静止画であってもよい。

【0124】

＜画像分析ステップ＞
その後、画像分析部１５７は、撮像されたユーザーＵの顔又は手指の肌の画像を分析する画像分析ステップを実行する（図２／Ｓ１１０）。

【0125】

すなわち画像分析部１５７は、顔モードが指定されている場合（図６／Ｓ１１１：顔モード）には、第２撮像ステップで撮像されたユーザーＵの顔の画像を分析し（図６／Ｓ１１３）、指モードが指定されている場合（図６／Ｓ１１１：指モード）には、第２撮像ステップで撮像されたユーザーＵの手指の画像を分析する（図６／Ｓ１１５）。

【0126】

より具体的には、画像分析部１５７は例えば、肌の画像である動画又は連続的に撮像した静止画から、ＲＧＢの各色成分の輝度の変化の情報を取得する。

【0127】

そして画像分析部１５７は例えば、このようにして取得した、ユーザーＵの顔の画像に基づくＲＧＢの各色成分の輝度の変化の情報をサーバー３０に送信して画像分析ステップを終了する。

【0128】

＜回答分析ステップ＞
回答分析部３３１は例えば、携帯端末１０から各質問へのユーザーＵによる回答の情報及びＲＧＢの各色成分の輝度の変化の情報を受信した際に、ユーザーＵの顔の状態についての質問に対するユーザーＵによる回答を分析する回答分析ステップを実行する。

【0129】

より具体的には回答分析部３３１は例えば、入力受付ステップで受け付けられたユーザーＵの顔の状態についての質問に対するユーザーＵによる回答について、当該回答とユーザーＵの顔に現れている感情又は疲労状態との相関関係を示す第１相関関係情報と、を用いて、該ユーザーＵの顔に現れている感情及び疲労状態の一方又は両方の分析結果を決定する。

【0130】

回答とユーザーＵの顔に現れている感情又は疲労状態との相関関係を示す第１相関関係情報としては、種々の情報が用いられてよい。本実施形態において回答分析部３３１は例えば下記の式を第１相関関係情報として用いて、ユーザーＵの顔に出ている疲れの兆候を「元気」（＝１０）から「疲れた」（＝０）までの範囲で疲れの兆候スコアとして指標化して、当該スコアを回答の分析結果として決定する。

【0131】

Ｆ＝ｐ１＋ｐ２＋ｐ３＋ｐ４＋ｐ５
ただし、Ｆは顔に現れている感情又は疲労状態を指標化した値（疲れの兆候スコア）であって、その最大値は１０、最小値は０である。すなわち例えばｐ１～ｐ５を足し合わせた値が１０を超える場合には１０とし、０を下回る場合は０となる。

【0132】

ｐ１は、ユーザーＵの通常の状態に比した目の開き具合を、「開いている」（＝５点）から「閉じている」（＝１点）までの１点刻みの５段階で評価した値である。

【0133】

ｐ２は、ユーザーＵの通常の状態に比した目の周りのクマの濃さを、「薄くなっている」（＝１点）から「濃くなっている」（＝－１点）までの０．５点刻みの５段階で評価した値である。

【0134】

ｐ３は、ユーザーＵの通常の状態に比したニキビ又は吹き出物の状態を、「良くなっている」（＝１点）から「悪くなっている」（＝－１点）までの０．５点刻みの５段階で評価した値である。

【0135】

ｐ４は、ユーザーＵの通常の状態に比した口角の上がり具合又は下がり具合を、「上がっている」（＝５点）から「下がっている」（＝１点）までの１点刻みの５段階で評価した値である。

【0136】

ｐ５は、ユーザーＵの通常の状態に比した唇の潤いの状態を、「プルプルしている」（＝１点）から「かさかさしている」（＝－１点）までの０．５点刻みの５段階で評価した値である。

【0137】

＜ユーザー状態情報生成ステップ＞
その後、ユーザーＵの顔の状態についての質問に対するユーザーＵによる回答の分析結果及び顔の画像の分析結果に基づいて、ユーザーＵの顔に現れている感情及び疲労状態の一方又は両方を含むユーザー状態を示すユーザー状態情報を生成するユーザー状態情報生成ステップが実行される（図２／Ｓ１５０）。

【0138】

より具体的には、ユーザー状態情報生成ステップにおいては、まず心拍取得部３３７が画像分析ステップにて送信された、ユーザーＵの顔の画像に基づくＲＧＢの各色成分の輝度の変化の情報からユーザーＵの心拍に関する情報として、ユーザーＵの心拍数を取得する（図７／Ｓ１５１）。

【0139】

さらに心拍取得部３３７は、ユーザーＵの顔の画像に基づくＲＧＢの各色成分の輝度の変化の情報からユーザーＵの心拍に関する情報として、ユーザーＵの心拍の揺らぎに関する情報を取得する（図７／Ｓ１５３）。心拍の揺らぎは、ユーザーＵの疲労状態と密接に関連しているためである。

【0140】

心拍の揺らぎに関する情報とは、例えばＣＶＲ－Ｒ又は、心拍の変動を周波数解析して得られる、心拍の変動の低周波成分であるＬＦ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ）の総パワーと高周波成分であるＨＦ（Ｈｉｇｈ Ｆｒｅｑｕｅｎｃｙ）の総パワーとの合計であるトータルパワー値である。

【0141】

そしてユーザー状態情報生成部３３３は、ユーザーの心拍に関する情報である心拍数について、心拍に関する情報とユーザーＵの自律神経バランスとの相関関係を示す第２相関関係情報、を用いて、ユーザーＵの自律神経バランスに関する情報を取得する（図７／Ｓ１５３）。

【0142】

なお自律神経バランスに関する情報とは例えば、心拍の変動を周波数解析して得られる、ＬＦとＨＦとの比（ＬＦ／ＨＦ）である。

【0143】

そしてユーザー状態情報生成部３３３は、ユーザーＵの顔の状態に関する質問への回答の分析結果、顔の画像の分析結果及び自律神経バランスに関する情報に基づいて、ユーザーＵのユーザー状態に関する総合スコアを決定する（図７／Ｓ１５５）。

【0144】

より具体的にはユーザー状態情報生成部３３３は、自律神経バランスに関する情報を１～１０の間の点数で指標化した自律神経バランススコアを決定する。例えば交感神経が優位であるほど当該点数は１に近づき、副交感神経が優位であるほど当該点数は１０に近づくように決定される。

【0145】

またユーザー状態情報生成部３３３は、例えば心拍の揺らぎに関する情報として取得したＣＶＲ－Ｒ（又はトータルパワー値）を１～１０の間の点数で指標化した、心拍に基づく疲労度スコアを決定する。例えば心拍の揺らぎの度合が高いほど当該点数は１に近づき、心拍の揺らぎの度合が低いほど当該点数は１０に近づくように決定される。

【0146】

そしてユーザー状態情報生成部３３３は、自律神経バランススコア、心拍に基づく疲労度スコアの２つの値に、回答分析ステップにて決定されたユーザーＵの顔に出ている疲れの兆候を数値化した疲れの兆候スコアを加えた３つの値の平均値を、ユーザーの感情又は疲労状態を指標化した、総合スコアとして決定する。

【0147】

そしてユーザー状態情報生成部３３３は、ユーザー状態情報を生成して（図７／Ｓ１５７）、ユーザー状態情報生成ステップを終了する。

【0148】

より具体的にはユーザー状態情報生成部３３３は、ユーザーＵの顔に出ている疲れの兆候を数値化した値、心拍の揺らぎに関する情報を点数化した値、自律神経バランスに関する情報を点数化した値、及び総合スコアのセットをユーザー状態情報とする。

【0149】

＜ユーザー状態情報記憶ステップ＞
ユーザー状態情報記憶ステップにおいてユーザー状態情報生成部３３３は、ユーザー状態情報生成ステップにおいて生成したユーザー状態情報をサーバー記憶部３１０に時系列的に記憶する（図２／Ｓ１７０）。

【0150】

＜ソリューション決定ステップ＞
そして、ソリューション決定部３３５は、ユーザーＵの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための、ユーザーＵに提供可能な複数のソリューションから、ユーザー状態情報に応じたソリューションを決定するソリューション決定ステップを実行する（図２／Ｓ１９０）。

【0151】

すなわち例えば、ソリューション決定部３３５はソリューション決定ステップを開始すると、まず指定されている動作モードを確認する（図８／Ｓ１９１）。

【0152】

そして、指定されている動作モードが顔モードである場合には（図８／Ｓ１９１：顔モード）、ソリューション決定部３３５は、ユーザー状態情報に含まれるユーザーＵの顔に現れている感情又は疲労状態に基づいて、ユーザーＵがユーザーＵの触覚又は聴覚に対する受動的な刺激である受動的ソリューションを提供すべき第１状態にあるか、ユーザーＵに所定の動作を促す能動的ソリューションを提供すべき第２状態にあるかを判定する（図８／Ｓ１９３）。

【0153】

ユーザーが第１状態にあるか第２状態にあるかの判定の手法には種々の手法が採用されてよいが、本実施形態においてソリューション決定部３３５は、ユーザー状態情報に含まれる自律神経バランスに関する情報を点数化した値が４以下かつユーザーＵの顔に出ている疲れの兆候を数値化した値が６以上である場合（すなわち、交感神経が優位で、顔に出ている疲れの兆候から見て元気な状態にある場合）に、ユーザーＵが第２状態にあると判定し、それ以外の場合には第１状態にあると判定する。

【0154】

ユーザーＵが第１状態にあると判定された場合には（図８／Ｓ１９３：第１状態）、ソリューション決定部３３５は受動的ソリューションからユーザー状態情報に応じたソリューションを決定する（図８／Ｓ１９５）。

【0155】

一方、ユーザーＵが第２状態にあると判定された場合には（図８／Ｓ１９３：第２状態）、ソリューション決定部３３５は能動的ソリューションからユーザー状態情報に応じたソリューションを決定する（図８／Ｓ１９７）。

【0156】

また、指定されている動作モードが指モードである場合には（図８／Ｓ１９１：指モード）、ソリューション決定部３３５は、指定された指モードに応じたソリューションを決定する（図８／Ｓ１９９）。

【0157】

そしてソリューション決定部３３５は、このようにして決定したソリューションに関する情報とユーザー状態情報生成ステップにて生成したユーザー状態情報を携帯端末１０に送信してソリューション決定ステップを終了する。

【0158】

より具体的には、例えば動作モード及び総合スコアと、ソリューションとの対応テーブルを予めサーバー記憶部３１０に記憶しておき、ソリューション決定部３３５は、当該対応テーブルを参照して、ユーザー状態情報に含まれる総合スコアに対応したソリューションを決定する。

【0159】

本実施形態においては、ソリューション決定部３３５が決定するソリューションは、所定の時間継続する周期的な振動であって該振動の開始時から終了時にかけて段階的に周期が変動する振動と、ユーザー状態を改善するための人の声、自然の音又は音楽を含む所定の時間継続する音声と、の組み合わせ（受動的ソリューション）であり、必要に応じてさらに、ユーザーＵに所定の方法での呼吸又は瞑想などの動作を促す情報又はユーザーＵを所定の状態に誘導する画像を含む（能動的ソリューション）。

【0160】

＜ソリューションの具体例＞
・顔モード用のソリューション
図９は、本実施形態における、総合スコアと顔モード用のソリューションとの対応関係を示している。図９に示すように、顔モード用のソリューションに含まれる音声については、ユーザーＵが第１状態にある場合のソリューションは、総合スコアの高低に応じた３つのグループに分類されており、総合スコアが１～４の場合には人の声と音楽との組み合わせ、５～７の場合には自然の音と音楽との組み合わせ、８～１０の場合には音楽のみである。このように、ソリューション決定部３３５は、ユーザー状態情報に基づいて、振動と組み合わせる音声を決定する。

【0161】

また、振動については、ソリューション決定部３３５は、ユーザー状態情報に基づいて、より具体的にはユーザーＵの心拍数に基づいて、振動の開始時の周期と、開始時から終了時にかけての該周期の変動パターンとを決定する。

【0162】

すなわち例えばユーザーＵの心拍数が８０以上である場合にソリューション決定部３３５は、振動の開始時の周期は８５回／分であり、当該周期を１０秒間継続させると決定する。またソリューション決定部３３５は、開始時から終了時にかけての該周期の変動パターンを、７５回／分周期の振動を１０秒継続し、６５回／分周期の振動を２０秒継続し、…と変動させて、最終的には５０回／分周期の振動を１２０秒以上、ソリューションが終了するまで継続するという、周期の変動パターンを決定する。

【0163】

なお例えば、ユーザーＵの心拍数が相対的に高い場合、本実施形態においては心拍数が７０以上である場合には、振動の開始から一定期間（例えば２０秒など。）は振動のみを提供して、その後音声を組み合わせて提供するようにソリューションを決定させてもよい。

【0164】

これは、心拍が一定程度高い場合には、まず心拍を落ち着けてから音声を聞かせた方が、音声による感情及び疲労状態の改善効果が得られやすくなるためである。

【0165】

なお本実施形態においてソリューション決定部３３５は、ユーザーＵが第１状態にあると判定されている場合には、総合スコアに対応した受動的ソリューションを３つ決定し、ユーザーＵが第２状態にあると判定されている場合には、総合スコアに対応した能動的ソリューションを１つと、受動的なソリューションを２つ決定する。そのため、総合スコアが１～４の場合、５～７の場合、８～１０のそれぞれに対応する複数の音声のソリューションがサーバー記憶部３１０に記憶されている。

【0166】

そして、ユーザーＵが第２状態にある場合のソリューションは、音楽と、ユーザーＵに所定の動作を促す情報である「行動をサポートする文字」と、振動との組み合わせである。

【0167】

「行動をサポートする文字」とは、例えば図１０の下部に示すような、一定間隔で変化する「振動を感じながら簡単なマインドフルネス瞑想をやってみましょう」、「背筋を伸ばし姿勢を正しましょう」、「肩の力を抜きゆっくりと鼻呼吸をしましょう」などの、所定の動作又は所定の方法での呼吸又は瞑想を促す文章の組み合わせである。

【0168】

・指モード用のソリューション
図１０は、本実施形態における、指モードごとの、ユーザーＵの心拍数と指モード用のソリューションとの対応関係を示している。図１０に示すように、指モード用のソリューションは、指定された指モード（Ｒｅｄ、Ｂｌｕｅ、Ｇｒｅｅｎの何れか）とユーザーＵの心拍数に応じて決定される、振動と、ユーザーＵに所定の動作を促す情報と、ユーザーＵを所定の状態に誘導する画像との組み合わせである。

【0169】

より具体的には、ソリューション決定部３３５は、第１指モードに該当する「Ｒｅｄ」が指定されている場合には、振動の開始時から終了時にかけて振動の周期が段階的に短くなるように、すなわち振動数が増えていくように変動させる振動周期の変動パターンを決定する。これは、引き込み効果によってユーザーＵの心拍を速めて、ユーザーＵを覚醒した状態に誘導するためである。

【0170】

また、ユーザーＵに所定の動作を促す情報は例えば、「姿勢を正して振動を感じながら
大きく呼吸をしましょう」というコメントの文章であり、ユーザーＵを所定の状態に誘導する画像は例えば、覚醒をイメージできる静止画である。

【0171】

そしてソリューション決定部３３５は、第２指モードに該当する「Ｂｕｌｅ」が指定されている場合には、振動の開始時から終了時にかけて振動の周期が段階的に長くなるように、すなわち振動数が低下していくように変動させる該周期の変動パターンを決定する。なおこのときの振動数が低下していく速度は、「Ｇｒｅｅｎ」が指定されている場合に比して急である。これは、引き込み効果によってユーザーＵの心拍を急速に落ち着かせて、ユーザーＵを冷静な状態に誘導するためである。

【0172】

また、ユーザーＵに所定の動作を促す情報は例えば、「肩を一度あげ、力を抜き振動を感じながらゆっくり呼吸をしましょう」というコメントの文章であり、ユーザーＵを所定の状態に誘導する画像は例えば、冷静をイメージできる静止画である。

【0173】

そしてソリューション決定部３３５は、第３指モードに該当する「Ｇｒｅｅｎ」が指定されている場合には、振動の開始時から終了時にかけて振動の周期が段階的に長くなるように、すなわち振動数が低下していくように変動させる該周期の変動パターンを決定する。なおこのときの振動数が低下していく速度は、「Ｂｌｕｅ」が指定されている場合に比して緩やかである。これは、引き込み効果によってユーザーＵの心拍を緩やかに落ち着かせて、ユーザーＵをリラックスした状態に誘導するためである。

【0174】

また、ユーザーＵに所定の動作を促す情報は例えば、「肩の力を抜いて、振動を感じながら深く呼吸をしましょう」というコメントの文章であり、ユーザーＵを所定の状態に誘導する画像は例えば、リラックスをイメージできる静止画である。

【0175】

なお、ソリューション決定部３３５は、例えばＢｌｕｅ又はＧｒｅｅｎの指モードが指定されている場合において、最後に振動数を所定程度上げてから振動を終了するような変動パターンを決定してもよい。

【0176】

これは、例えば業務の昼休みの休憩中にユーザーＵがソリューションの提供を受けることを想定した場合、一度冷静な状態又はリラックスした状態になった後に、再度通常の心拍数に近づけることを促すことによって、休憩後に円滑に業務を再開できる状態にユーザーＵを誘導するためである。

【0177】

＜ユーザー状態情報表示ステップ＞
その後、例えば、携帯端末１０がサーバー３０から決定したソリューションに関する情報とユーザー状態情報生成ステップにて生成したユーザー状態情報を受信した際に、ユーザー状態情報を表示するユーザー状態情報表示ステップが実行される（図２／Ｓ２１０）。

【0178】

図１１は、顔モードが指定されていた場合に、ユーザー状態情報表示ステップで表示される内容の例である。すなわち、図１１に示すように、表示制御部１５３は、受信したユーザー状態情報に含まれる、ユーザーＵの顔に出ている疲れの兆候を数値化した値を示す「顔にでている疲れの兆候」の表示Ｒ１と、心拍の揺らぎに関する情報を点数化した値を示す「エネルギー余力度」の表示Ｒ２と、自律神経バランスに関する情報を点数化した値を示す「自律神経バランス」の表示Ｒ３と、総合スコアの値の表示Ｔ１とをユーザー状態情報として並べて表示している。

【0179】

そして、表示制御部１５３は、画面の下部に、今回決定されたソリューションの提供を開始させるためのアイコン（Ｓ１、Ｓ２、Ｓ３）を３つ並べて表示している。また、当該アイコンにはたとえば、各ソリューションの内容を示すタイトルと、サムネイル画像がそれぞれ含まれる。

【0180】

なお、指モードが指定されている場合には、表示制御部１５３は例えば、自律神経バランスに関する情報を点数化した値を示す「自律神経バランス」の表示と、ユーザーＵの心拍数を示す表示とを表示部１３０に表示させる。

【0181】

＜ソリューション提供ステップ＞
顔モードが指定されている場合には、ユーザー状態情報表示ステップにおいて、表示制御部１５３が画面に表示させた、今回決定されたソリューションの提供を開始させるためのアイコン（Ｓ１、Ｓ２、Ｓ３）の何れかをユーザーＵがタップする操作を行うと、当該操作に応じてソリューション提供部１５９はタップされたアイコンに対応するソリューションをユーザーに向けて提供する。

【0182】

また指モードが指定されている場合には、ソリューション提供部１５９は、表示制御部１５３が「自律神経バランス」の表示と、ユーザーＵの心拍数を示す表示とを表示部１３０に一定時間表示させた後に自動的に、ソリューション決定部３３５が決定した、ソリューションの提供を開始する。

【0183】

すなわち例えばソリューション提供部１５９は振動発生部１７０を介して、ソリューションに含まれる振動を、ソリューション決定部３３５が決定した開始時の周期で開始し、ソリューション決定部３３５が決定した変動パターンに従って変動させながら所定の時間継続して提供する。

【0184】

またソリューション提供部１５９はソリューション決定部３３５が決定した音声を、音声再生部１９０を介して再生し、ソリューション決定部３３５が決定した、ユーザーＵに所定の動作を促す情報又はユーザーＵを所定の状態に誘導する画像を、表示部１３０を介して表示して、ユーザーＵに向けて提供する。

【0185】

以上、本発明の実施形態について説明したが、これに限定されない。本発明の趣旨を逸脱しない範囲で、種々の変更が可能である。

【0186】

すなわち例えば、上記においてはユーザーの顔が映像として表示部１３０に表示される場合の実施形態について説明したが、これに限定されない。すなわち例えば、本発明のユーザー状態分析方法は、いわゆるスマートミラーであるユーザー状態分析システムを用いて実行されて、ユーザーは鏡に写る自身の顔を見ながら、質問に答えてもよい。また、当該スマートミラーはユーザーが携帯可能であってもなくてもよい。

【0187】

より具体的には、本実施形態のユーザー状態分析システムは、ユーザーＵの顔を映す鏡部を備えている。そして、表示部１３０は、ユーザーＵが鏡部に写るユーザーＵの顔と同時に見ることができる位置に配置される。表示制御部１５３は、鏡部に写るユーザーＵの顔の状態についての質問を表示部１３０に表示する。入力部２１０は、ユーザーＵが、鏡部に写るユーザーＵの顔及び、表示部１３０に表示されたユーザーＵの顔の状態についての質問を見ながら操作を行える位置に配置される。そして入力受付部１５５は、入力部２１０を介して、ユーザーＵの顔の状態についての質問に対するユーザーＵによる回答の入力を鏡部に写るユーザーＵの顔の映像を見せた状態で受け付ける。

【0188】

あるいは例えば、回答分析部３３１は回答分析ステップにおいて、ユーザーＵの顔の状態についての質問に対するユーザーＵによる回答を入力として、ユーザーＵの顔に現れている幸せの４因子、バーンアウトの状態、人生満足度、ＰＡＮＡＳ尺度によるネガティブさ又はポジティブさ、レジリエンスの度合、主観的幸福感尺度、ストレス耐性などの感情、又は不眠症の状態、身体疲労度、精神疲労度、体内の疲労成分の量の状態などの疲労状態を出力とする分析モデルを第１相関関係情報として用いて、ユーザーＵの顔に現れている感情及び疲労状態の一方又は両方の分析結果を決定してもよい。

【0189】

この場合、回答分析部３３１は分析モデルを用いて、分析対象の感情又は疲労状態が正常な状態であることを示す基準値よりも高い状態にあるか、低い状態にあるかの出力値を分析結果として決定する。

【0190】

あるいは上記の実施例においては、入力受付ステップの後に、画像分析ステップで分析を行うためのユーザーＵの顔の画像を撮像するステップ（第２撮像ステップ）及び画像分析ステップを実行する構成について説明したが、これに限定されない。

【0191】

すなわち例えば、画像分析ステップで分析を行うためのユーザーＵの顔の画像を撮像するステップ（第２撮像ステップ）は、入力受付ステップの前に実行され、画像分析ステップは、入力受付ステップの前に撮像されたユーザーＵの顔の画像を分析するステップであるように構成されてもよい。このように、画像分析ステップで分析を行うためのユーザーＵの顔の画像を撮像するステップ（第２撮像ステップ）は、入力受付ステップの前後いずれにおいて行われてよく、それに応じて画像分析ステップは入力受付ステップの前又は後のいずれかに撮像されたユーザーＵの顔の画像を分析するステップとなる。

【0192】

あるいは例えば、ユーザーＵの顔の画像を撮像するステップは、入力受付ステップの実行中に実行され、画像分析ステップは、入力受付ステップの実行中に撮像されたユーザーＵの顔の画像を分析するステップであるように構成されてもよい。

【0193】

この場合、顔画像・質問表示ステップで表示部１３０に表示させるためのユーザーＵの顔の画像の撮像をするステップ（第１撮像ステップ）と、画像分析ステップで分析を行うためのユーザーＵの顔の画像を撮像するステップ（第２撮像ステップ）と、は、単一のステップとして実行される。すなわち、このようにして撮像されたユーザーの顔の画像は、顔画像・質問表示ステップで表示部１３０に表示させるためにも、画像分析ステップで分析を行うためにも用いられる。

【0194】

またこの場合には、例えば画像分析部１５７は、撮像部１１０により撮像された画像の中から、手ぶれの度合いが十分に低い画像など、画像の分析の精度を保つために必要な条件を満たしている画像を選択して、当該選択された画像を分析するように構成される。

【0195】

あるいは例えば、ユーザーＵの顔の画像を撮像するステップは、入力受付ステップの前又は実行中に実行され、画像分析ステップは、入力受付ステップの実行中に実行されるように構成されてもよい。

【符号の説明】

【0196】

１１０…撮像部、１３０…表示部、１５１…撮像制御部、１５３…表示制御部、１５５…入力受付部、１５７…画像分析部、１５９…ソリューション提供部、１６１…モード指定受付部、１７０…振動発生部、１９０…音声再生部、３１０…サーバー記憶部、３３１…回答分析部、３３３…ユーザー状態情報生成部、３３５…ソリューション決定部、３３７…心拍取得部、３３９…状態判定部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】