(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022118788
(43)【公開日】2022-08-16
(54)【発明の名称】行動評価方法、プログラム、およびシステム
(51)【国際特許分類】
A45D 44/00 20060101AFI20220808BHJP
【ＦＩ】
A45D44/00 A
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2021015511
(22)【出願日】2021-02-03
(71)【出願人】
【識別番号】000001959
【氏名又は名称】株式会社 資生堂
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】武樋 剛
(72)【発明者】
【氏名】岡本 直樹
(57)【要約】
【課題】物質を塗布する行動を評価する。
【解決手段】本発明の一実施形態に係る行動評価方法は、物質の塗布によって生じる音を示す音情報を取得するステップと、前記音情報に基づいて、前記塗布の強さと前記塗布の速さとのうちの少なくとも一方が所定の範囲内であるか否かを推定するステップと、前記推定した結果を出力するステップと、を含む。
【選択図】図３
【解決手段】本発明の一実施形態に係る行動評価方法は、物質の塗布によって生じる音を示す音情報を取得するステップと、前記音情報に基づいて、前記塗布の強さと前記塗布の速さとのうちの少なくとも一方が所定の範囲内であるか否かを推定するステップと、前記推定した結果を出力するステップと、を含む。
【選択図】図３
【特許請求の範囲】
【請求項1】
物質の塗布によって生じる音を示す音情報を取得するステップと、
前記音情報に基づいて、前記塗布の強さと前記塗布の速さとのうちの少なくとも一方が所定の範囲内であるか否かを推定するステップと、
前記推定した結果を出力するステップと
を含む行動評価方法。
前記音情報に基づいて、前記塗布の強さと前記塗布の速さとのうちの少なくとも一方が所定の範囲内であるか否かを推定するステップと、
前記推定した結果を出力するステップと
を含む行動評価方法。
【請求項2】
前記音は、２つ以上の位置で測定され、
前記推定するステップは、前記塗布の位置ごとに、前記塗布の強さと前記塗布の速さとのうちの少なくとも一方が所定の範囲内であるか否かを推定する、請求項１に記載の行動評価方法。
前記推定するステップは、前記塗布の位置ごとに、前記塗布の強さと前記塗布の速さとのうちの少なくとも一方が所定の範囲内であるか否かを推定する、請求項１に記載の行動評価方法。
【請求項3】
前記出力するステップは、前記塗布が完了していない位置があることを出力することをさらに含む、請求項２に記載の行動評価方法。
【請求項4】
前記物質は化粧料である、請求項１から３のいずれか一項に記載の行動評価方法。
【請求項5】
前記推定するステップは、前記音情報に基づいて、前記化粧料の種類を推定することをさらに含み、
前記所定の範囲は、前記化粧料の種類ごとに設定されている、請求項４に記載の行動評価方法。
前記所定の範囲は、前記化粧料の種類ごとに設定されている、請求項４に記載の行動評価方法。
【請求項6】
前記推定するステップは、前記音情報に基づいて、前記化粧料の塗布の手法を推定することをさらに含み、
前記所定の範囲は、前記化粧料の塗布の手法ごとに設定されている、請求項４に記載の行動評価方法。
前記所定の範囲は、前記化粧料の塗布の手法ごとに設定されている、請求項４に記載の行動評価方法。
【請求項7】
前記推定するステップは、前記音情報に基づいて、塗布された前記化粧料の量が所定の範囲内であるか否かを推定することをさらに含む、請求項４に記載の行動評価方法。
【請求項8】
前記化粧料が塗布されていない肌で生じる音を示す音情報を取得するステップと、
前記化粧料が塗布されていない肌で生じる音を示す音情報に基づいて、肌の状態を推定するステップと、をさらに含み、
前記所定の範囲は、前記肌の状態ごとに設定されている、請求項４に記載の行動評価方法。
前記化粧料が塗布されていない肌で生じる音を示す音情報に基づいて、肌の状態を推定するステップと、をさらに含み、
前記所定の範囲は、前記肌の状態ごとに設定されている、請求項４に記載の行動評価方法。
【請求項9】
前記推定するステップは、前記音情報に基づいて、前記化粧料の塗布の開始または前記化粧料の塗布の終了を推定することをさらに含む、請求項４に記載の行動評価方法。
【請求項10】
前記音が測定されたときの時刻情報を管理するステップをさらに含む、請求項１から９のいずれか一項に記載の行動評価方法。
【請求項11】
前記音が測定されたときのバイタル情報を管理するステップをさらに含む、請求項１から９のいずれか一項に記載の行動評価方法。
【請求項12】
コンピュータを
物質の塗布によって生じる音を示す音情報を取得する取得部、
前記音情報に基づいて、前記塗布の強さと前記塗布の速さとのうちの少なくとも一方が所定の範囲内であるか否かを推定する行動分類部、
前記推定した結果を出力する出力部
として機能させるためのプログラム。
物質の塗布によって生じる音を示す音情報を取得する取得部、
前記音情報に基づいて、前記塗布の強さと前記塗布の速さとのうちの少なくとも一方が所定の範囲内であるか否かを推定する行動分類部、
前記推定した結果を出力する出力部
として機能させるためのプログラム。
【請求項13】
マイクとコンピュータとを含むシステムであって、前記マイクは、物質の塗布によって生じる音を測定し、
前記物質の塗布によって生じる音を示す音情報を取得する取得部と、
前記音情報に基づいて、前記塗布の強さと前記塗布の速さとのうちの少なくとも一方が所定の範囲内であるか否かを推定する行動分類部と、
前記推定した結果を出力する出力部と
を備えたシステム。
前記物質の塗布によって生じる音を示す音情報を取得する取得部と、
前記音情報に基づいて、前記塗布の強さと前記塗布の速さとのうちの少なくとも一方が所定の範囲内であるか否かを推定する行動分類部と、
前記推定した結果を出力する出力部と
を備えたシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、行動評価方法、プログラム、およびシステムに関する。
【背景技術】
【0002】
従来、化粧料等の物質を塗布する行動において、あらかじめ適切な塗布の仕方が定められていることがある（特許文献１等）。例えば、化粧料の場合、適切な塗布の仕方にしたがうことによって、化粧料の効果を上げることができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０１８／０１２２２２号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、物質を塗布している者は、自身の塗布の仕方が適切な塗布の仕方であるか否かを判断することは難しかった。
【0005】
そこで、本発明では、物質を塗布する行動を評価することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一実施形態に係る行動評価方法は、物質の塗布によって生じる音を示す音情報を取得するステップと、前記音情報に基づいて、前記塗布の強さと前記塗布の速さとのうちの少なくとも一方が所定の範囲内であるか否かを推定するステップと、前記推定した結果を出力するステップと、を含む。
【発明の効果】
【0007】
本発明では、物質を塗布する行動を評価することができる。
【図面の簡単な説明】
【0008】
【図1】本発明の一実施形態に係る全体の構成を示す図である。
【図2】本発明の一実施形態に係る情報処理システムの機能ブロックを示す図である。
【図3】本発明の一実施形態に係る行動評価の処理の流れを示すフローチャートである。
【図4】本発明の一実施形態に係る情報処理装置のハードウェア構成を示す図である。
【発明を実施するための形態】
【0009】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【0010】
・本明細書では、化粧行動（具体的には、化粧料の塗布）を評価する実施形態について説明するが、これに限られず、本発明は、任意の行動（具体的には、任意の物質の塗布）の評価に適用することができる。
・化粧料は、任意の基礎化粧品およびメーキャップ化粧品であってよく、例えば、化粧水、乳液、クリーム、美容液、日焼け止めクリーム、下地クリーム、ファンデーション等である。
・本明細書では、マイク付きイヤホンを用いた実施形態を説明するが、これに限られず、加速度センサー、ｍｅｍｓセンサー、振動子を備えたセンサー、圧電センサー等の音を測定できるものであればよい。
・化粧料は、任意の基礎化粧品およびメーキャップ化粧品であってよく、例えば、化粧水、乳液、クリーム、美容液、日焼け止めクリーム、下地クリーム、ファンデーション等である。
・本明細書では、マイク付きイヤホンを用いた実施形態を説明するが、これに限られず、加速度センサー、ｍｅｍｓセンサー、振動子を備えたセンサー、圧電センサー等の音を測定できるものであればよい。
【0011】
＜全体構成＞
図１は、本発明の一実施形態に係る全体の構成を示す図である。情報処理システム１は、情報処理装置１０と、マイク付きイヤホン２０と、を含む。情報処理装置１０は、マイク付きイヤホン２０とデータを送受信することができる。以下、それぞれについて説明する。
図１は、本発明の一実施形態に係る全体の構成を示す図である。情報処理システム１は、情報処理装置１０と、マイク付きイヤホン２０と、を含む。情報処理装置１０は、マイク付きイヤホン２０とデータを送受信することができる。以下、それぞれについて説明する。
【0012】
情報処理装置１０は、マイク付きイヤホン２０が測定した物質の塗布によって生じる音を示す情報（以下、「音情報」という）に基づいて、塗布の強さと塗布の速さとのうちの少なくとも一方が所定の範囲内であるか否かを推定し、推定した結果を出力する。例えば、情報処理装置１０は、スマートフォン、タブレット、パーソナルコンピュータ、サーバ等である。
【0013】
マイク付きイヤホン２０は、物質の塗布によって生じる振動（音）を測定する。
【0014】
＜情報処理システム１の機能ブロック＞
図２は、本発明の一実施形態に係る情報処理システム１の機能ブロックを示す図である。以下、情報処理装置１０とマイク付きイヤホン２０に分けて説明する。
図２は、本発明の一実施形態に係る情報処理システム１の機能ブロックを示す図である。以下、情報処理装置１０とマイク付きイヤホン２０に分けて説明する。
【0015】
＜＜情報処理装置１０＞＞
情報処理装置１０は、送受信部１００（送受信部１００は、取得部１０１と出力部１０６を含む）と、化粧行動分類部（単に、行動分類部とも呼ぶ）１０２と、化粧行動開始検知部（単に、行動開始検知部とも呼ぶ）１０３と、フィードバック判断部１０４と、出力データ生成部１０５と、を備えることができる。また、情報処理装置１０は、プログラムを実行することで、送受信部１００、化粧行動分類部１０２、化粧行動開始検知部１０３、フィードバック判断部１０４、出力データ生成部１０５、として機能することができる。以下、それぞれについて説明する。
情報処理装置１０は、送受信部１００（送受信部１００は、取得部１０１と出力部１０６を含む）と、化粧行動分類部（単に、行動分類部とも呼ぶ）１０２と、化粧行動開始検知部（単に、行動開始検知部とも呼ぶ）１０３と、フィードバック判断部１０４と、出力データ生成部１０５と、を備えることができる。また、情報処理装置１０は、プログラムを実行することで、送受信部１００、化粧行動分類部１０２、化粧行動開始検知部１０３、フィードバック判断部１０４、出力データ生成部１０５、として機能することができる。以下、それぞれについて説明する。
【0016】
取得部１０１は、物質の塗布によって生じる音を示す音情報を取得する。また、取得部１０１は、化粧料が塗布されていない肌で生じる音を示す音情報を取得することができる。例えば、取得部１０１は、音情報をマイク付きイヤホン２０から受信する。音は、人の顔等の１つの位置あるいは２つ以上の位置で測定される。
【0017】
化粧行動分類部１０２は、取得部１０１が取得した音情報に基づいて、化粧料等の物質の塗布の強さと化粧料等の物質の塗布の速さとのうちの少なくとも一方が所定の範囲内であるか否かを推定する。
【0018】
具体的には、化粧行動分類部１０２は、音を示す音情報（振動のデータ）の特徴と、化粧行動等の行動（具体的には、化粧料等の物質の塗布）を分類したグループと、の対応関係に基づいて、行動の有無、物質の塗布の強さ、物質の塗布の速さ等を評価する。例えば、音を示す音情報（振動のデータ）の特徴は、音の周波数、強度、信号の継続の長さ、左耳用（Ｌ）と右耳用（Ｒ）のマイクの信号差、機械学習によって得られる信号の特徴等である。なお、対応関係は、事前に決められたデータベースであってもよいし、機械学習された学習済みモデルであってもよい。データベースは、音を示す音情報（振動のデータ）の特徴と、グループ（強すぎる・最適・弱すぎる、速すぎる・最適・遅すぎる等）と、が紐づけられている。また、学習済みモデルは、音を示す音情報（振動のデータ）が入力されると、グループ（強すぎる・最適・弱すぎる、速すぎる・最適・遅すぎる等）が出力される予測モデルである。
【0019】
以下、＜行動の有無＞、＜物質の塗布の強さの評価＞、＜物質の塗布の速さの評価＞について説明する。
【0020】
＜行動の有無＞
化粧行動分類部１０２は、音情報が、"化粧行動等の行動が有り（つまり、化粧料等の物質の塗布が有り）"、"化粧行動等の行動が無し（つまり、化粧料等の物質の塗布が無し）"、のいずれに属するかを判定する。具体的には、化粧行動分類部１０２は、音の発生の有無により、行動の有無を評価（音の発生が有ると行動が有り、音の発生が無いと行動が無し）する。
化粧行動分類部１０２は、音情報が、"化粧行動等の行動が有り（つまり、化粧料等の物質の塗布が有り）"、"化粧行動等の行動が無し（つまり、化粧料等の物質の塗布が無し）"、のいずれに属するかを判定する。具体的には、化粧行動分類部１０２は、音の発生の有無により、行動の有無を評価（音の発生が有ると行動が有り、音の発生が無いと行動が無し）する。
【0021】
＜物質の塗布の強さの評価＞
化粧行動分類部１０２は、音情報が、"化粧料等の物質の塗布が強すぎる"、"化粧料等の物質の塗布が弱すぎる"、"化粧料等の物質の塗布の強さが最適である"、のいずれに属するかを判定する。具体的には、化粧行動分類部１０２は、音の大きさにより、物質の塗布の強さを評価（音が大きいと塗布が強い、音が小さいと塗布が弱い）する。
化粧行動分類部１０２は、音情報が、"化粧料等の物質の塗布が強すぎる"、"化粧料等の物質の塗布が弱すぎる"、"化粧料等の物質の塗布の強さが最適である"、のいずれに属するかを判定する。具体的には、化粧行動分類部１０２は、音の大きさにより、物質の塗布の強さを評価（音が大きいと塗布が強い、音が小さいと塗布が弱い）する。
【0022】
＜物質の塗布の速さの評価＞
化粧行動分類部１０２は、音情報が、"化粧料等の物質の塗布が速すぎる"、"化粧料等の物質の塗布が遅すぎる"、"化粧料等の物質の塗布の速さが最適である"、のいずれに属するかを判定する。具体的には、化粧行動分類部１０２は、音が発生する位置（音源）の移動距離と音が発生する時間により、物質の塗布の速さを評価（移動距離／時間が大きいと速い、移動距離／時間が小さいと遅い）する。
化粧行動分類部１０２は、音情報が、"化粧料等の物質の塗布が速すぎる"、"化粧料等の物質の塗布が遅すぎる"、"化粧料等の物質の塗布の速さが最適である"、のいずれに属するかを判定する。具体的には、化粧行動分類部１０２は、音が発生する位置（音源）の移動距離と音が発生する時間により、物質の塗布の速さを評価（移動距離／時間が大きいと速い、移動距離／時間が小さいと遅い）する。
【0023】
化粧行動開始検知部１０３は、化粧行動等の行動が開始されたか否かを判断する。具体的には、化粧行動開始検知部１０３は、音情報が"化粧行動等の行動が有り（つまり、化粧料等の物質の塗布が有り）"に属すると判定されると、化粧行動等の行動が開始されたと判断する。なお、音情報に基づいて、化粧料の塗布の開始だけでなく、化粧料の塗布の終了を推定することもできる。
【0024】
フィードバック判断部１０４は、化粧行動分類部１０２が推定した結果をユーザにフィードバックしないかするかを判断する。例えば、フィードバック判断部１０４は、音情報が"化粧料等の物質の塗布の強さが最適である"と"化粧料等の物質の塗布の速さが最適である"の両方に属すると判定されると、フィードバックしないと判断する。また、例えば、フィードバック判断部１０４は、音情報が"化粧料等の物質の塗布が強すぎる"、"化粧料等の物質の塗布が弱すぎる"、"化粧料等の物質の塗布が速すぎる"、"化粧料等の物質の塗布が遅すぎる"の少なくとも１つに属すると判定されると、フィードバックすると判断する。
【0025】
＜フィードバックの優先順位＞
なお、フィードバック判断部１０４は、化粧料ごとにフィードバックの内容の優先順位を設けることができる（例えば、日焼け止めは塗布の未完了の警告を優先する、化粧水は塗布の強さの警告を優先する等）。
なお、フィードバック判断部１０４は、化粧料ごとにフィードバックの内容の優先順位を設けることができる（例えば、日焼け止めは塗布の未完了の警告を優先する、化粧水は塗布の強さの警告を優先する等）。
【0026】
出力データ生成部１０５は、出力部１０６が出力するデータ（例えば、マイク付きイヤホン２０へ送信するデータ）を生成する。例えば、出力するデータは、警告音（ビープ音）、物質の塗布によって生じる音等の任意の音である。例えば、出力データ生成部１０５は、物質の塗布に連動したデータ（強すぎる場合には大きい音、弱すぎる場合には小さい音、速すぎる場合には速い音、遅すぎる場合には遅い音）を生成することができる。
【0027】
なお、出力するデータは、音に限られず、振動、光の点滅、内耳の前庭器官への刺激、画面への表示等でもよい。
【0028】
出力部１０６は、化粧行動分類部１０２が推定した結果を出力する。例えば、出力部１０６は、化粧行動分類部１０２が推定した結果をマイク付きイヤホン２０へ送信する。なお、出力部１０６が、スマートフォン等のマイク付きイヤホン２０以外の任意の端末に出力するようにしてもよい。
【0029】
以下、種々の評価方法について説明する。
【0030】
＜塗布の位置ごとの評価＞
化粧行動分類部１０２は、音が２つ以上の位置で測定された場合に、塗布の位置（例えば、右頬、左頬、右額、左額、右目周り、左目周り、右鼻、左鼻、右口周り、左口周り、右顎、左顎等）ごとに、塗布の強さと塗布の速さとのうちの少なくとも一方が所定の範囲内であるか否かを推定することができる。具体的には、化粧行動分類部１０２は、複数のマイクに到達する音の時間差と音の大きさの違いにより、音が発生する位置（つまり、塗布の位置）を決定する。
化粧行動分類部１０２は、音が２つ以上の位置で測定された場合に、塗布の位置（例えば、右頬、左頬、右額、左額、右目周り、左目周り、右鼻、左鼻、右口周り、左口周り、右顎、左顎等）ごとに、塗布の強さと塗布の速さとのうちの少なくとも一方が所定の範囲内であるか否かを推定することができる。具体的には、化粧行動分類部１０２は、複数のマイクに到達する音の時間差と音の大きさの違いにより、音が発生する位置（つまり、塗布の位置）を決定する。
【0031】
＜塗布の未完了の位置＞
化粧行動分類部１０２は、塗布が完了していない位置があることを推定することができる。具体的には、化粧行動分類部１０２は、複数のマイクに到達する音の時間差と音の大きさの違いにより、音が発生する位置（つまり、塗布の位置）を決定する。
化粧行動分類部１０２は、塗布が完了していない位置があることを推定することができる。具体的には、化粧行動分類部１０２は、複数のマイクに到達する音の時間差と音の大きさの違いにより、音が発生する位置（つまり、塗布の位置）を決定する。
【0032】
＜塗布の回数の推定＞
化粧行動分類部１０２は、音情報に基づいて、物質の塗布の回数を推定することができる。具体的には、化粧行動分類部１０２は、連続する音が発生する回数により、物質の塗布の回数を推定する。例えば、化粧行動分類部１０２は、塗布の位置（例えば、右頬、左頬、右額、左額、右目周り、左目周り、右鼻、左鼻、右口周り、左口周り、右顎、左顎等）ごとに、塗布の回数を推定することができる。
化粧行動分類部１０２は、音情報に基づいて、物質の塗布の回数を推定することができる。具体的には、化粧行動分類部１０２は、連続する音が発生する回数により、物質の塗布の回数を推定する。例えば、化粧行動分類部１０２は、塗布の位置（例えば、右頬、左頬、右額、左額、右目周り、左目周り、右鼻、左鼻、右口周り、左口周り、右顎、左顎等）ごとに、塗布の回数を推定することができる。
【0033】
＜化粧料の推定＞
化粧行動分類部１０２は、音情報に基づいて、化粧料の種類（例えば、化粧水、乳液、クリーム、美容液、日焼け止めクリーム、下地クリーム、ファンデーション等）を推定することができる。具体的には、化粧行動分類部１０２は、音の周波数により、化粧料の種類を推定する。また、化粧行動分類部１０２は、塗布の強さと塗布の速さと塗布の回数のうちの少なくとも一つが、化粧料の種類ごとに設定されている所定の範囲内であるか否かを推定することができる。
化粧行動分類部１０２は、音情報に基づいて、化粧料の種類（例えば、化粧水、乳液、クリーム、美容液、日焼け止めクリーム、下地クリーム、ファンデーション等）を推定することができる。具体的には、化粧行動分類部１０２は、音の周波数により、化粧料の種類を推定する。また、化粧行動分類部１０２は、塗布の強さと塗布の速さと塗布の回数のうちの少なくとも一つが、化粧料の種類ごとに設定されている所定の範囲内であるか否かを推定することができる。
【0034】
＜化粧料の塗布の手法の推定＞
化粧行動分類部１０２は、音情報に基づいて、化粧料の塗布の手法（例えば、コットンによるストローク、指によるストローク、コットンによるプレス、指によるプレス、コットンによるパッティング、指によるパッティング等）を推定することができる。具体的には、化粧行動分類部１０２は、音のリズムと移動距離により、ストローク、プレス、パッティング等を推定する。化粧行動分類部１０２は、音の周波数により、コットンの有無を推定する。また、化粧行動分類部１０２は、塗布の強さと塗布の速さと塗布の回数のうちの少なくとも一つが、化粧料の塗布の手法ごとに設定されている所定の範囲内であるか否かを推定することができる。
化粧行動分類部１０２は、音情報に基づいて、化粧料の塗布の手法（例えば、コットンによるストローク、指によるストローク、コットンによるプレス、指によるプレス、コットンによるパッティング、指によるパッティング等）を推定することができる。具体的には、化粧行動分類部１０２は、音のリズムと移動距離により、ストローク、プレス、パッティング等を推定する。化粧行動分類部１０２は、音の周波数により、コットンの有無を推定する。また、化粧行動分類部１０２は、塗布の強さと塗布の速さと塗布の回数のうちの少なくとも一つが、化粧料の塗布の手法ごとに設定されている所定の範囲内であるか否かを推定することができる。
【0035】
＜化粧料の量の評価＞
化粧行動分類部１０２は、音情報に基づいて、塗布された化粧料の量が所定の範囲内であるか否かを推定することができる。具体的には、化粧行動分類部１０２は、初期状態の音の周波数（もしくは周波数スペクトル）からの変位量により、塗布された化粧料の量を推定する。初期状態では、多くの化粧料がコットンにしみ込んでいる。化粧行動により徐々に肌に化粧料が馴染むことでコットンにしみ込んでいる化粧料の量が減り、素のコットンの状態に近づく。そのため、肌とコットンの間の摩擦抵抗が変化して、音の周波数が変化する。化粧料の量が十分であれば変位量が少なく、化粧料の量が少なければ変位量が大きい。
化粧行動分類部１０２は、音情報に基づいて、塗布された化粧料の量が所定の範囲内であるか否かを推定することができる。具体的には、化粧行動分類部１０２は、初期状態の音の周波数（もしくは周波数スペクトル）からの変位量により、塗布された化粧料の量を推定する。初期状態では、多くの化粧料がコットンにしみ込んでいる。化粧行動により徐々に肌に化粧料が馴染むことでコットンにしみ込んでいる化粧料の量が減り、素のコットンの状態に近づく。そのため、肌とコットンの間の摩擦抵抗が変化して、音の周波数が変化する。化粧料の量が十分であれば変位量が少なく、化粧料の量が少なければ変位量が大きい。
【0036】
＜化粧行動のテンポの評価＞
化粧行動分類部１０２は、音情報に基づいて、化粧行動のテンポを推定することができる。具体的には、化粧行動分類部１０２は、"化粧行動中の１アクション（１ストローク、１プレス、１パッティング等）の期間"と"１アクション後に手が顔に接触していない期間（つまり、音が発生していない期間）"とのそれぞれの時間の比率、あるいは、塗布の速さに対して手が顔に触れていない期間（つまり、音が発生していない期間）の割合をテンポとして推定することができる。
化粧行動分類部１０２は、音情報に基づいて、化粧行動のテンポを推定することができる。具体的には、化粧行動分類部１０２は、"化粧行動中の１アクション（１ストローク、１プレス、１パッティング等）の期間"と"１アクション後に手が顔に接触していない期間（つまり、音が発生していない期間）"とのそれぞれの時間の比率、あるいは、塗布の速さに対して手が顔に触れていない期間（つまり、音が発生していない期間）の割合をテンポとして推定することができる。
【0037】
＜肌の状態の推定＞
化粧行動分類部１０２は、肌状態診断モードにおいて、化粧料が塗布されていない肌で生じる音を示す音情報に基づいて、肌の状態（例えば、乾燥肌、脂性肌、混合肌、普通肌等）を推定することができる。また、化粧行動分類部１０２は、塗布の強さと塗布の速さとのうちの少なくとも一方が、肌の状態ごとに設定されている所定の範囲内であるか否かを推定することができる。具体的には、化粧行動分類部１０２は、周波数（もしくは周波数スペクトル）により、肌の状態を推定する。化粧料をつけている状態か否かによって摩擦抵抗が大きく変わるので、周波数（もしくは周波数スペクトル）が大きく変わる。さらに、化粧料をつけていない状態でも、肌の状態によって摩擦抵抗が変わるので、周波数（もしくは周波数スペクトル）によって肌の状態が分類される。つまり、周波数（もしくは周波数スペクトル）によって、化粧料をつけているかつけていないかを分類した後に、化粧料をつけていないと分類したものをさらに周波数（もしくは周波数スペクトル）を細かく分類して肌の状態を細分化する。部位よって周波数（もしくは周波数スペクトル）の乾燥肌、普通肌、脂性肌への分類が混ざる場合、あるいは、日によって周波数（もしくは周波数スペクトル）の乾燥肌、普通肌、脂性肌への分類が変化するユーザを混合肌と判断する。
化粧行動分類部１０２は、肌状態診断モードにおいて、化粧料が塗布されていない肌で生じる音を示す音情報に基づいて、肌の状態（例えば、乾燥肌、脂性肌、混合肌、普通肌等）を推定することができる。また、化粧行動分類部１０２は、塗布の強さと塗布の速さとのうちの少なくとも一方が、肌の状態ごとに設定されている所定の範囲内であるか否かを推定することができる。具体的には、化粧行動分類部１０２は、周波数（もしくは周波数スペクトル）により、肌の状態を推定する。化粧料をつけている状態か否かによって摩擦抵抗が大きく変わるので、周波数（もしくは周波数スペクトル）が大きく変わる。さらに、化粧料をつけていない状態でも、肌の状態によって摩擦抵抗が変わるので、周波数（もしくは周波数スペクトル）によって肌の状態が分類される。つまり、周波数（もしくは周波数スペクトル）によって、化粧料をつけているかつけていないかを分類した後に、化粧料をつけていないと分類したものをさらに周波数（もしくは周波数スペクトル）を細かく分類して肌の状態を細分化する。部位よって周波数（もしくは周波数スペクトル）の乾燥肌、普通肌、脂性肌への分類が混ざる場合、あるいは、日によって周波数（もしくは周波数スペクトル）の乾燥肌、普通肌、脂性肌への分類が変化するユーザを混合肌と判断する。
【0038】
＜時刻情報の管理＞
化粧行動分類部１０２は、音が測定されたときの時刻情報を管理することができる。例えば、化粧行動分類部１０２は、一定期間、各時間帯（朝、夜等）に同じ化粧行動が行われるとルーチン情報として管理し、ルーチン情報と異なる化粧行動が行われた場合には、ユーザにフィードバックしてもよい。また、ルーチン情報にない化粧料（サンプルなど）が推定された場合には、ユーザにフィードバックしないようにしてもよい。また、同じルーチン情報を有する者同士でＳＮＳ等でコミュニケーションをはかることができるようにユーザにフィードバックしてもよい。
化粧行動分類部１０２は、音が測定されたときの時刻情報を管理することができる。例えば、化粧行動分類部１０２は、一定期間、各時間帯（朝、夜等）に同じ化粧行動が行われるとルーチン情報として管理し、ルーチン情報と異なる化粧行動が行われた場合には、ユーザにフィードバックしてもよい。また、ルーチン情報にない化粧料（サンプルなど）が推定された場合には、ユーザにフィードバックしないようにしてもよい。また、同じルーチン情報を有する者同士でＳＮＳ等でコミュニケーションをはかることができるようにユーザにフィードバックしてもよい。
【0039】
＜バイタル情報の管理＞
化粧行動分類部１０２は、音が測定されたときのバイタル情報（例えば、心拍や呼吸等の情報）を管理することができる。例えば、化粧行動分類部１０２は、化粧行動を分類したグループと心拍等の情報とを紐づけて管理し、音情報が、"心拍が安定する化粧行動"、"心拍が不安定になる化粧行動"のいずれに属するかを判定する。心拍が不安定になる化粧行動であった場合には、心拍が安定する化粧行動へ誘導するようにユーザにフィードバックしてもよい。また、快適を優先するモードと、正しい化粧行動を優先するモードと、をユーザの指定によって切り替えられるようにしてもよい。また、心拍が不安定な度合いが閾値（例えば、ユーザが時間帯ごとに設定できる）を超える場合には、快適を優先するモードへ切り替えられるようにしてもよい。また、化粧行動のテンポの情報を活用して、快適を優先するモードでは、テンポの分類に基づいてユーザへのフィードバックを実施し、正しい化粧行動を優先するモードでは、テンポの分類に基づいたユーザへのフィードバックを実施しないようにしてもよい。
化粧行動分類部１０２は、音が測定されたときのバイタル情報（例えば、心拍や呼吸等の情報）を管理することができる。例えば、化粧行動分類部１０２は、化粧行動を分類したグループと心拍等の情報とを紐づけて管理し、音情報が、"心拍が安定する化粧行動"、"心拍が不安定になる化粧行動"のいずれに属するかを判定する。心拍が不安定になる化粧行動であった場合には、心拍が安定する化粧行動へ誘導するようにユーザにフィードバックしてもよい。また、快適を優先するモードと、正しい化粧行動を優先するモードと、をユーザの指定によって切り替えられるようにしてもよい。また、心拍が不安定な度合いが閾値（例えば、ユーザが時間帯ごとに設定できる）を超える場合には、快適を優先するモードへ切り替えられるようにしてもよい。また、化粧行動のテンポの情報を活用して、快適を優先するモードでは、テンポの分類に基づいてユーザへのフィードバックを実施し、正しい化粧行動を優先するモードでは、テンポの分類に基づいたユーザへのフィードバックを実施しないようにしてもよい。
【0040】
＜モードの管理＞
化粧行動分類部１０２は、各モード（化粧モード、肌状態診断モード等）を管理することができる。各モードは、ユーザの指定によって切り替えられてもよいし、自動で切り替えられてもよい。例えば、化粧料の塗布の音が計測されると化粧モードを開始し、化粧料の塗布の音が計測されなくなったり、化粧行動を開始した場所からのユーザの移動距離を加速度センサー等により算出して一定距離以上になったりすると化粧モードを終了することができる。
化粧行動分類部１０２は、各モード（化粧モード、肌状態診断モード等）を管理することができる。各モードは、ユーザの指定によって切り替えられてもよいし、自動で切り替えられてもよい。例えば、化粧料の塗布の音が計測されると化粧モードを開始し、化粧料の塗布の音が計測されなくなったり、化粧行動を開始した場所からのユーザの移動距離を加速度センサー等により算出して一定距離以上になったりすると化粧モードを終了することができる。
【0041】
なお、本発明の一実施形態では、行動を特定するための情報（例えば、化粧料の種類等）をユーザが入力して、推定が簡素化されるようにしてもよい。
【0042】
＜＜マイク付きイヤホン２０＞＞
マイク付きイヤホン２０は、左耳用（Ｌ）と右耳用（Ｒ）の２つから構成される。マイク付きイヤホン２０は、ＣＰＵ部２０１と、マイク部２０２と、ＡＤ部２０３と、送受信部２０４と、ＤＡ部２０５と、スピーカー部２０６と、を備えることができる。以下、それぞれについて説明する。
マイク付きイヤホン２０は、左耳用（Ｌ）と右耳用（Ｒ）の２つから構成される。マイク付きイヤホン２０は、ＣＰＵ部２０１と、マイク部２０２と、ＡＤ部２０３と、送受信部２０４と、ＤＡ部２０５と、スピーカー部２０６と、を備えることができる。以下、それぞれについて説明する。
【0043】
ＣＰＵ（Central Processing Unit）部２０１は、マイク付きイヤホン２０を制御する。
【0044】
マイク部２０２は、振動（音）を測定する。具体的には、マイク部２０２は、物質（例えば、化粧料）の塗布によって生じる振動（音）を測定する。
【0045】
ＡＤ（Analog to Digital）部２０３は、アナログ信号（つまり、音）をデジタル信号に変換する。
【0046】
送受信部２０４は、情報処理装置１０とデータを送受信する。
【0047】
ＤＡ（Digital to Analog）部２０５は、デジタル信号をアナログ信号（つまり、音）に変換する。
【0048】
スピーカー部２０６は、音を再生する。具体的には、スピーカー部２０６は、情報処理装置１０からのフィードバックを再生する。
【0049】
＜処理方法＞
図３は、本発明の一実施形態に係る行動評価の処理の流れを示すフローチャートである。ユーザは、マイク付きイヤホン２０を装着して、化粧料等の物質を塗布する行動をするものとする。
図３は、本発明の一実施形態に係る行動評価の処理の流れを示すフローチャートである。ユーザは、マイク付きイヤホン２０を装着して、化粧料等の物質を塗布する行動をするものとする。
【0050】
ステップ１（Ｓ１）において、取得部１０１は、マイク付きイヤホン２０が測定した振動のデータ（つまり、化粧料等の物質の塗布によって生じる音を示す音情報）を、マイク付きイヤホン２０から受信したか否かを判断する。受信した場合には、ステップ２へ進み、受信しない場合には、処理を終了する。
【0051】
ステップ２（Ｓ２）において、化粧行動分類部１０２は、Ｓ１で取得された音情報に基づいて、化粧料等の物質の塗布の強さと化粧料等の物質の塗布の速さとのうちの少なくとも一方が所定の範囲内であるか否かを推定する。
【0052】
具体的には、化粧行動分類部１０２は、Ｓ１で取得された音情報が、"化粧行動等の行動が有り（つまり、化粧料等の物質の塗布が有り）"、"化粧行動等の行動が無し（つまり、化粧料等の物質の塗布が無し）"、のいずれに属するかを判定する。また、化粧行動分類部１０２は、Ｓ１で取得された音情報が、"化粧料等の物質の塗布が強すぎる"、"化粧料等の物質の塗布が弱すぎる"、"化粧料等の物質の塗布の強さが最適である"、のいずれに属するかを判定する。また、化粧行動分類部１０２は、Ｓ１で取得された音情報が、"化粧料等の物質の塗布が速すぎる"、"化粧料等の物質の塗布が遅すぎる"、"化粧料等の物質の塗布の速さが最適である"、のいずれに属するかを判定する。
【0053】
ステップ３（Ｓ３）において、化粧行動開始検知部１０３は、化粧行動等の行動が開始されたか否かを判断する。具体的には、化粧行動開始検知部１０３は、Ｓ２で音情報が"化粧行動等の行動が有り（つまり、化粧料等の物質の塗布が有り）"に属すると判定されると、化粧行動等の行動が開始されたと判断する。行動が開始された場合には、ステップ４へ進み、行動が開始されていない場合には、ステップ１へ戻る。
【0054】
ステップ４（Ｓ４）において、フィードバック判断部１０４は、最適な行動（例えば、化粧行動）であるか否か（つまり、ユーザにフィードバックしないかするか）を判断する。例えば、フィードバック判断部１０４は、Ｓ２で音情報が"化粧料等の物質の塗布の強さが最適である"と"化粧料等の物質の塗布の速さが最適である"の両方に属すると判定されると、フィードバックしないと判断する。また、例えば、フィードバック判断部１０４は、Ｓ２で音情報が"化粧料等の物質の塗布が強すぎる"、"化粧料等の物質の塗布が弱すぎる"、"化粧料等の物質の塗布が速すぎる"、"化粧料等の物質の塗布が遅すぎる"の少なくとも１つに属すると判定されると、フィードバックすると判断する。フィードバックしない場合には、ステップ１へ戻り、フィードバックする場合には、ステップ５へ進む。
【0055】
ステップ５（Ｓ５）において、出力部１０６は、化粧行動分類部１０２が推定した結果を出力する。例えば、出力部１０６は、化粧料等の物質の塗布が強すぎること、または、化粧料等の物質の塗布が弱すぎることを警告することができる。例えば、出力部１０６は、化粧料等の物質の塗布が速すぎること、または、化粧料等の物質の塗布が遅すぎることを警告することができる。
【0056】
＜効果＞
このように、本発明の一実施形態では、ユーザが化粧料を塗布することによって生じる音に基づいて、化粧行動が適切な化粧行動であるか否かを推定して、ユーザにフィードバックすることができる。そのため、ユーザは、自身の塗布が強すぎないか（あるいは、弱すぎないか）、速すぎないか（あるいは、遅すぎないか）を容易に知ることができる。
このように、本発明の一実施形態では、ユーザが化粧料を塗布することによって生じる音に基づいて、化粧行動が適切な化粧行動であるか否かを推定して、ユーザにフィードバックすることができる。そのため、ユーザは、自身の塗布が強すぎないか（あるいは、弱すぎないか）、速すぎないか（あるいは、遅すぎないか）を容易に知ることができる。
【0057】
＜ハードウェア構成＞
図４は、本発明の一実施形態に係る情報処理装置１０のハードウェア構成を示す図である。
図４は、本発明の一実施形態に係る情報処理装置１０のハードウェア構成を示す図である。
【0058】
情報処理装置１０は、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３を有する。ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３は、いわゆるコンピュータを形成する。
【0059】
また、情報処理装置１０は、補助記憶装置１００４、表示装置１００５、操作装置１００６、Ｉ／Ｆ（Interface）装置１００７、ドライブ装置１００８を有することができる。
【0060】
なお、情報処理装置１０の各ハードウェアは、バスＢを介して相互に接続されている。
【0061】
ＣＰＵ１００１は、補助記憶装置１００４にインストールされている各種プログラムを実行する演算デバイスである。
【0062】
ＲＯＭ１００２は、不揮発性メモリである。ＲＯＭ１００２は、補助記憶装置１００４にインストールされている各種プログラムをＣＰＵ１００１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ１００２は、ＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。
【0063】
ＲＡＭ１００３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ１００３は、補助記憶装置１００４にインストールされている各種プログラムがＣＰＵ１００１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
【0064】
補助記憶装置１００４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。
【0065】
表示装置１００５は、情報処理装置１０の内部状態等を表示する表示デバイスである。
【0066】
操作装置１００６は、情報処理装置１０を操作する者が情報処理装置１０に対して各種指示を入力する入力デバイスである。
【0067】
Ｉ／Ｆ装置１００７は、ネットワークに接続し、他の装置と通信を行うための通信デバイスである。
【0068】
ドライブ装置１００８は記憶媒体１００９をセットするためのデバイスである。ここでいう記憶媒体１００９には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記憶媒体１００９には、ＥＰＲＯＭ (Erasable Programmable Read Only Memory)、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【0069】
なお、補助記憶装置１００４にインストールされる各種プログラムは、例えば、配布された記憶媒体１００９がドライブ装置１００８にセットされ、該記憶媒体１００９に記録された各種プログラムがドライブ装置１００８により読み出されることでインストールされる。あるいは、補助記憶装置１００４にインストールされる各種プログラムは、Ｉ／Ｆ装置１００７を介して、ネットワークよりダウンロードされることでインストールされてもよい。
【0070】
以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【0071】
１ 情報処理システム
１０ 情報処理装置
２０ マイク付きイヤホン
１００ 送受信部
１０１ 取得部
１０２ 化粧行動分類部
１０３ 化粧行動開始検知部
１０４ フィードバック判断部
１０５ 出力データ生成部
１０６ 出力部
２０１ ＣＰＵ部
２０２ マイク部
２０３ ＡＤ部
２０４ 送受信部
２０５ ＤＡ部
２０６ スピーカー部
１００１ ＣＰＵ
１００２ ＲＯＭ
１００３ ＲＡＭ
１００４ 補助記憶装置
１００５ 表示装置
１００６ 操作装置
１００７ Ｉ／Ｆ装置
１００８ ドライブ装置
１００９ 記憶媒体
１０ 情報処理装置
２０ マイク付きイヤホン
１００ 送受信部
１０１ 取得部
１０２ 化粧行動分類部
１０３ 化粧行動開始検知部
１０４ フィードバック判断部
１０５ 出力データ生成部
１０６ 出力部
２０１ ＣＰＵ部
２０２ マイク部
２０３ ＡＤ部
２０４ 送受信部
２０５ ＤＡ部
２０６ スピーカー部
１００１ ＣＰＵ
１００２ ＲＯＭ
１００３ ＲＡＭ
１００４ 補助記憶装置
１００５ 表示装置
１００６ 操作装置
１００７ Ｉ／Ｆ装置
１００８ ドライブ装置
１００９ 記憶媒体
【図1】
【図2】
【図3】
【図4】