(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-19
(45)【発行日】2023-12-27
(54)【発明の名称】情報処理装置、プログラム及び情報処理方法
(51)【国際特許分類】
G06T 7/20 20170101AFI20231220BHJP
【FI】
G06T7/20 300B
(21)【出願番号】P 2020559812
(86)(22)【出願日】2019-11-05
(86)【国際出願番号】 JP2019043304
(87)【国際公開番号】W WO2020116069
(87)【国際公開日】2020-06-11
【審査請求日】2022-09-05
(31)【優先権主張番号】P 2018230053
(32)【優先日】2018-12-07
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001959
【氏名又は名称】株式会社 資生堂
(74)【代理人】
【識別番号】230116816
【氏名又は名称】成川 弘樹
(74)【代理人】
【識別番号】100146123
【氏名又は名称】木本 大介
(72)【発明者】
【氏名】川添 寛子
(72)【発明者】
【氏名】中川 文香
【審査官】新井 則和
(56)【参考文献】
【文献】特開2007-264785(JP,A)
【文献】特開2012-070222(JP,A)
【文献】特開2015-064823(JP,A)
【文献】国際公開第2016/076140(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/20-7/90
(57)【特許請求の範囲】
【請求項1】
ユーザの顔の動画像情報を取得する手段を備え、
前記動画像情報に基づいて、前記ユーザの顔の動きに関する動き情報を抽出する手段を備え、
前記動き情報に基づいて、前記ユーザの顔の動きの癖を特定する手段を備え、
前記ユーザに関するユーザ情報を取得する手段を備え、
前記ユーザ情報に基づいて、前記ユーザの顔の動きの癖を推測する手段を備え、
推測された前記動きの癖に関する情報を提示する手段を備え、
前記ユーザ情報は、前記ユーザの肌又は顔の状態に関する情報を含む
、
情報処理装置。
【請求項2】
ユーザの顔の動画像情報を取得する手段を備え、
前記動画像情報に基づいて、前記ユーザの顔の動きに関する動き情報を抽出する手段を備え、
前記動き情報に基づいて、前記ユーザの顔の動きの癖を特定する手段を備える、
特定された前記動きの癖に関する情報を提示する手段を備え、
前記動きの癖に関する情報は、前記動きの癖並びに前記動きの癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処するためのアドバイス情報を含む
、情報処理装置。
【請求項3】
ユーザの顔の動画像情報を取得する手段を備え、
前記動画像情報に基づいて、前記ユーザの顔の動きに関する動き情報を抽出する手段を備え、
前記動き情報に基づいて、前記ユーザの顔の動きの癖を特定する手段を備える、
前記ユーザに関するユーザ情報を取得する手段を備え、
前記ユーザ情報に基づいて、前記ユーザの顔の動きの癖を推測する手段を備え、
推測された前記動きの癖に関する情報を提示する手段を備え、
前記動きの癖に関する情報は、前記動きの癖並びに前記動きの癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処するためのアドバイス情報を含む、情報処理装置。
【請求項4】
前記ユーザ情報に基づいて、前記動きの癖並びに前記動きの癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処するためのアドバイス情報を選択する手段を備え、
前記選択されたアドバイス情報
を提示する手段を備える、
請求項
3に記載の情報処理装置。
【請求項5】
ユーザの顔の動画像情報を取得する手段を備え、
前記動画像情報に基づいて、前記ユーザの顔の動きに関する動き情報を抽出する手段を備え、
前記動き情報に基づいて、前記ユーザの顔の動きの癖を特定する手段を備え、
特定された前記動きの癖に関する情報を提示する手段を備え、
前記動きの癖に関する情報は、前記ユーザの肌又は顔の状態の推測情報を含む
、
情報処理装置。
【請求項6】
ユーザの顔の動画像情報を取得する手段を備え、
前記動画像情報に基づいて、前記ユーザの顔の動きに関する動き情報を抽出する手段を備え、
前記動き情報に基づいて、前記ユーザの顔の動きの癖を特定する手段を備え、
前記ユーザに関するユーザ情報を取得する手段を備え、
前記ユーザ情報に基づいて、前記ユーザの顔の動きの癖を推測する手段を備え、
推測された前記動きの癖に関する情報を提示する手段を備え、
前記動きの癖に関する情報は、前記ユーザの肌又は顔の状態の推測情報を含む、
情報処理装置。
【請求項7】
ユーザの顔の動画像情報を取得する手段を備え、
前記動画像情報に基づいて、前記ユーザの顔の動きに関する動き情報を抽出する手段を備え、
前記動き情報に基づいて、前記ユーザの顔の動きの癖を特定する手段を備え、
前記動画像情報を取得する手段は、前記ユーザに対して顔の動きを促すメッセージに応じた顔の動きの動画像情報を取得し、
前記メッセージに関する情報と前記動画像情報とを関連付けて記憶する手段を備える
、
情報処理装置。
【請求項8】
コンピュータを、請求項1~請求項7の何れかに記載の各手段として機能させるためのプログラム。
【請求項9】
コンピュータが、
ユーザの顔の動画像情報を取得するステップを実行し、
前記動画像情報に基づいて、前記ユーザの顔の動きに関する動き情報を抽出するステップを実行し、
前記動き情報に基づいて、前記ユーザの顔の動きの癖を特定するステップを実行し、
前記ユーザに関するユーザ情報を取得するステップを実行し、
前記ユーザ情報に基づいて、前記ユーザの顔の動きの癖を推測するステップを実行し、
推測された前記動きの癖に関する情報を提示するステップを実行し、
前記ユーザ情報は、前記ユーザの肌又は顔の状態に関する情報を含む、
情報処理方法。
【請求項10】
コンピュータが、
ユーザの顔の動画像情報を取得するステップを実行し、
前記動画像情報に基づいて、前記ユーザの顔の動きに関する動き情報を抽出するステップを実行し、
前記動き情報に基づいて、前記ユーザの顔の動きの癖を特定するステップを実行しる、
特定された前記動きの癖に関する情報を提示するステップを実行し、
前記動きの癖に関する情報は、前記動きの癖並びに前記動きの癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処するためのアドバイス情報を含む、情報処理方法。
【請求項11】
コンピュータが、
ユーザの顔の動画像情報を取得するステップを実行し、
前記動画像情報に基づいて、前記ユーザの顔の動きに関する動き情報を抽出するステップを実行し、
前記動き情報に基づいて、前記ユーザの顔の動きの癖を特定するステップを実行しる、
前記ユーザに関するユーザ情報を取得するステップを実行し、
前記ユーザ情報に基づいて、前記ユーザの顔の動きの癖を推測するステップを実行し、
推測された前記動きの癖に関する情報を提示するステップを実行し、
前記動きの癖に関する情報は、前記動きの癖並びに前記動きの癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処するためのアドバイス情報を含む、情報処理方法。
【請求項12】
コンピュータが、
ユーザの顔の動画像情報を取得するステップを実行し、
前記動画像情報に基づいて、前記ユーザの顔の動きに関する動き情報を抽出するステップを実行し、
前記動き情報に基づいて、前記ユーザの顔の動きの癖を特定するステップを実行し、
特定された前記動きの癖に関する情報を提示するステップを実行し、
前記動きの癖に関する情報は、前記ユーザの肌又は顔の状態の推測情報を含む、
情報処理方法。
【請求項13】
コンピュータが、
ユーザの顔の動画像情報を取得するステップを実行し、
前記動画像情報に基づいて、前記ユーザの顔の動きに関する動き情報を抽出するステップを実行し、
前記動き情報に基づいて、前記ユーザの顔の動きの癖を特定するステップを実行し、
前記ユーザに関するユーザ情報を取得するステップを実行し、
前記ユーザ情報に基づいて、前記ユーザの顔の動きの癖を推測するステップを実行し、
推測された前記動きの癖に関する情報を提示するステップを実行し、
前記動きの癖に関する情報は、前記ユーザの肌又は顔の状態の推測情報を含む、
情報処理方法。
【請求項14】
コンピュータが、
ユーザの顔の動画像情報を取得するステップを実行し、
前記動画像情報に基づいて、前記ユーザの顔の動きに関する動き情報を抽出するステップを実行し、
前記動き情報に基づいて、前記ユーザの顔の動きの癖を特定するステップを実行し、
前記動画像情報を取得する手段は、前記ユーザに対して顔の動きを促すメッセージに応じた顔の動きの動画像情報を取得し、
前記メッセージに関する情報と前記動画像情報とを関連付けて記憶するステップを実行しる、
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、プログラム及び情報処理方法に関する。
【背景技術】
【0002】
一般に、他人に対する印象を決定付ける要因の1つとして、顔の表情が挙げられる。例えば、眉をひそめる表情は、他人に対してネガティブな印象を与える。一方で、生活習慣などに起因して表情癖が生じることがある。例えば、パソコンを長時間使用する人は、無意識的に眉をひそめる表情癖ができ得る。この表情癖を有する人は、ポジティブな感情を持っていたとしても、意図せずに他人に対してネガティブな印象を与える。また、長年にわたる表情癖は、シワ又はたるみ等の肌特徴の表れの一因となり得る。
しかし、人は通常、自身の顔を鏡で見る際には表情を作っていることが多いため、本来の表情癖を知らない。近年、美容に関する関心が高まり、表情癖及び表情癖の影響で表れ得る肌特徴等を改善したいというニーズが高まっている。そのためには、まず、自身の表情癖を知ることが必要である。
【0003】
人の顔の部位の動きを分析する技術として、例えば、特開2008-071179号公報に記載のものがある。特開2008-071179号公報では、時系列的に連続して撮影した複数の画像から得られた人の顔における各部位の状態を示す情報が、実在する人の顔における各部位の動きとして認められるか否かを、登録されている各部位の動きパターンに基づいて判定することが記載されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
特開2008-071179号公報では、顔画像における対象人物の顔の部位の動きが人らしい自然な動きに当てはまっているか否かを判定して、その顔画像の人物が実在する人か否かを判定するものであるため、対象人物の表情癖は判定されない。
【0005】
本発明の目的は、ユーザの表情癖を判定することである。
【課題を解決するための手段】
【0006】
本発明の一態様は、
ユーザの顔の動画像情報を取得する手段を備え、
前記動画像情報に基づいて、前記ユーザの顔の動きに関する動き情報を抽出する手段を備え、
前記動き情報に基づいて、前記ユーザの顔の動きの癖を特定する手段を備える、
情報処理装置である。
【発明の効果】
【0007】
本発明によれば、ユーザの表情癖を判定することができる。
【図面の簡単な説明】
【0008】
【
図1】本実施形態の情報処理システムの構成を示すブロック図である。
【
図3】本実施形態の動き指示情報データベースのデータ構造を示す図である。
【
図4】本実施形態の表情癖情報データベースのデータ構造を示す図である。
【
図5】本実施形態の表情癖判定処理のシーケンス図である。
【
図6】
図5の情報処理において表示される画面例を示す図である。
【
図7】変形例1の個人特性関連情報データベースのデータ構造を示す図である。
【
図8】変形例1の肌状態関連情報データベースのデータ構造を示す図である。
【
図9】変形例1の表情癖判定処理のシーケンス図である。
【
図10】
図9の情報処理において表示される画面例を示す図である。
【
図11】変形例2の表情癖情報データベースのデータ構造を示す図である
【
図12】変形例2の表情癖判定処理のシーケンス図である。
【
図13】
図12の情報処理において表示される画面例を示す図である。
【
図14】変形例3の表情癖情報データベースのデータ構造を示す図である。
【
図15】変形例3の表情癖判定処理のシーケンス図である。
【
図16】
図15の情報処理において表示される画面例を示す図である。
【
図17】変形例4の情報処理において表示される画面例を示す図である。
【
図18】変形例5の表情癖情報データベースのデータ構造を示す図である。
【
図19】変形例5の情報処理において表示される画面例を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。
【0010】
(1)情報処理システムの構成
情報処理システムの構成について説明する。
図1は、本実施形態の情報処理システムの構成を示すブロック図である。
【0011】
図1に示すように、情報処理システム1は、クライアント装置10と、サーバ30とを備える。
クライアント装置10及びサーバ30は、ネットワーク(例えば、インターネット又はイントラネット)NWを介して接続される。
【0012】
クライアント装置10は、サーバ30にリクエストを送信する情報処理装置の一例である。クライアント装置10は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。
【0013】
サーバ30は、クライアント装置10から送信されたリクエストに応じたレスポンスをクライアント装置10に提供する情報処理装置の一例である。サーバ30は、例えば、ウェブサーバである。
【0014】
(1-1)クライアント装置の構成
クライアント装置10の構成について説明する。
【0015】
図1に示すように、クライアント装置10は、記憶装置11と、プロセッサ12と、入出力インタフェース13と、通信インタフェース14と、カメラ15と、を備える。
【0016】
記憶装置11は、プログラム及びデータを記憶するように構成される。記憶装置11は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。
【0017】
プログラムは、例えば、以下のプログラムを含む。
・OS(Operating System)のプログラム
・情報処理を実行するアプリケーション(例えば、ウェブブラウザ)のプログラム
【0018】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ(つまり、情報処理の実行結果)
【0019】
プロセッサ12は、記憶装置11に記憶されたプログラムを起動することによって、クライアント装置10の機能を実現するように構成される。プロセッサ12は、コンピュータの一例である。
【0020】
入出力インタフェース13は、カメラ15に接続される。
入出力インタフェース13は、クライアント装置10に接続される入力デバイスからユーザの指示を取得し、かつ、クライアント装置10に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。
【0021】
通信インタフェース14は、クライアント装置10とサーバ30との間の通信を制御するように構成される。
【0022】
カメラ15は、動画像(例えば、ユーザの顔の動画像)を撮像するように構成される。
【0023】
(1-2)サーバの構成
サーバ30の構成について説明する。
【0024】
図1に示すように、サーバ30は、記憶装置31と、プロセッサ32と、入出力インタフェース33と、通信インタフェース34とを備える。
【0025】
記憶装置31は、プログラム及びデータを記憶するように構成される。記憶装置31は、例えば、ROM、RAM、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。
【0026】
プログラムは、例えば、以下のプログラムを含む。
・OSのプログラム
・情報処理を実行するアプリケーションのプログラム
【0027】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果
【0028】
プロセッサ32は、記憶装置31に記憶されたプログラムを起動することによって、サーバ30の機能を実現するように構成される。プロセッサ32は、コンピュータの一例である。
【0029】
入出力インタフェース33は、サーバ30に接続される入力デバイスからユーザの指示を取得し、かつ、サーバ30に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。
【0030】
通信インタフェース34は、サーバ30とクライアント装置10との間の通信を制御するように構成される。
【0031】
(2)実施形態の概要
本実施形態の概要について説明する。
図2は、本実施形態の概要の説明図である。
【0032】
図2に示すように、サーバ30は、クライアント装置10を介して、ユーザの顔の動画像情報を取得する。
サーバ30は、ユーザの顔の動画像情報に基づいて、ユーザの顔の動きに関する動き情報を抽出する。
サーバ30は、ユーザの顔の動きに関する動き情報に基づいて、ユーザの顔の動きの癖を特定する。
【0033】
本実施形態によれば、ユーザの表情癖が判定される。これにより、ユーザは、自身の表情癖を知ることができる。
【0034】
なお、本実施形態において、「顔の動きの癖」と「表情癖」とは同義であり、交換可能に使用される。
【0035】
(3)データベース
本実施形態のデータベースについて説明する。以下のデータベースは、記憶装置31に記憶される。
【0036】
(3-1)動き指示情報データベース
本実施形態の動き指示情報データベースについて説明する。
図3は、本実施形態の動き指示情報データベースのデータ構造を示す図である。
【0037】
図3の動き指示情報データベースには、ユーザに対して提示する顔の動きを促すメッセージに関する動き指示情報が格納される。動き指示情報データベースは、「動き指示ID」フィールドと、「メッセージ内容」フィールドと、を含む。各フィールドは、互いに関連付けられている。
【0038】
「動き指示ID」フィールドには、動き指示IDが格納される。動き指示IDは、動き指示を識別する動き指示識別情報の一例である。
【0039】
「メッセージ内容」フィールドには、ユーザに対して提示する顔の動きを促すメッセージに関する情報(例えば、テキスト)が格納される。なお、本実施形態では、説明を単純化するために、3つのレコードが格納されているものとする。
【0040】
(3-2)表情癖情報データベース
本実施形態の表情癖情報データベースについて説明する。
図4は、本実施形態の表情癖情報データベースのデータ構造を示す図である。
【0041】
図4の表情癖情報データベースには、人の顔の動きの癖(以下「表情癖」という)に関する表情癖情報が格納される。表情癖情報データベースは、「表情癖ID」フィールドと、「特徴量」フィールドと、「表情癖名」フィールドと、「アドバイス」フィールドと、を含む。各フィールドは、互いに関連付けられている。
【0042】
「表情癖ID」フィールドには、表情癖IDが格納される。表情癖IDは、表情癖を識別する表情癖識別情報の一例である。
【0043】
「特徴量」フィールドには、対応する表情癖についての顔の動画像における顔の各部位の特徴量に関する情報が格納される。特徴量は、例えば、顔の各部位の特徴点における変化量(例えば、顔の各部位の特徴点における相対的な位置の変化量(例えば、動きベクトル)及び顔の各部位の特徴点における色味の変化量のうちの少なくとも1つ)で示される。特徴量は、複数の人物から得られた顔の動画像に基づいてモデル化したものである。「特徴量」フィールドは、複数のサブフィールド(各「動き指示ID」フィールド)を含む。同じ表情癖でも動き指示IDが異なると特徴量も異なる。
【0044】
「表情癖名」フィールドには、表情癖の名称(以下「表情癖名」という)に関する情報(例えば、テキスト)が格納される。
【0045】
「アドバイス」フィールドには、対応する表情癖並びに表情癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処するためのアドバイス情報(例えば、テキスト又は画像データ)が格納される。表情癖の影響で表れ得る肌特徴は、例えば、シワ、たるみ、及びくすみのうちの少なくとも1つである。表情癖の影響で表れ得る顔特徴は、例えば、表情筋の変化である。なお、「対処する」とは、例えば、改善する、予防する、進行を抑止する、又は進行を緩やかにすることをいう。
【0046】
(4)情報処理
本実施形態の情報処理について説明する。
図5は、本実施形態の表情癖判定処理のシーケンス図である。
図6は、
図5の情報処理において表示される画面例を示す図である。
【0047】
図5に示すように、クライアント装置10は、判定条件の受付(S100)を実行する。
具体的には、プロセッサ12は、画面P100(
図6)をディスプレイに表示する。
【0048】
画面P100は、表示オブジェクトA100a~A100dと、操作オブジェクトB100a~B100cと、を含む。
表示オブジェクトA100a~A100cは、ユーザに対して顔の動きを促すメッセージを含む。
表示オブジェクトA100dは、クライアント装置10に接続されたカメラ15が撮影する動画像を含む。
操作オブジェクトB100a~B100cは、動画像の撮影を実行するためのユーザ指示を受け付けるオブジェクトである。操作オブジェクトB100a~B100cは、それぞれ、表示オブジェクトA100a~A100cと対応している。操作オブジェクトB100a~B100cには、対応する動き指示IDが割り当てられている。
【0049】
ユーザが、カメラ15を自身の顔に向けながら操作オブジェクトB100aを操作すると、プロセッサ12は、表示オブジェクトA100dに含まれる動画像の動画像データを生成する。具体的には、ユーザは、表示オブジェクトA100aに表示されているメッセージ内容に合わせて顔の各部位を動かしながら、操作オブジェクトB100aを操作する。
プロセッサ12は、カメラ15によって撮像された動画像(つまり、表示オブジェクトA100aに表示されたメッセージに応じたユーザの顔の動画像)の動画像データと、操作オブジェクトB100aに割り当てられた動き指示IDと、を関連付けて記憶装置11に記憶する。
【0050】
ユーザが、カメラ15を自身の顔に向けながら操作オブジェクトB100bを操作すると、プロセッサ12は、表示オブジェクトA100dに含まれる動画像の動画像データを生成する。具体的には、ユーザは、表示オブジェクトA100bに表示されているメッセージ内容に合わせて顔の各部位を動かしながら、操作オブジェクトB100bを操作する。
プロセッサ12は、カメラ15によって撮像された動画像(つまり、表示オブジェクトA100bに表示されたメッセージに応じたユーザの顔の動画像)の動画像データと、操作オブジェクトB100bに割り当てられた動き指示IDと、を関連付けて記憶装置11に記憶する。
【0051】
ユーザが、カメラ15を自身の顔に向けながら操作オブジェクトB100cを操作すると、プロセッサ12は、表示オブジェクトA100dに含まれる動画像の動画像データを生成する。具体的には、ユーザは、表示オブジェクトA100cに表示されているメッセージ内容に合わせて顔の各部位を動かしながら、操作オブジェクトB100cを操作する。
プロセッサ12は、カメラ15によって撮像された動画像(つまり、表示オブジェクトA100cに表示されたメッセージに応じたユーザの顔の動画像)の動画像データと、操作オブジェクトB100cに割り当てられた動き指示IDと、を関連付けて記憶装置11に記憶する。
【0052】
プロセッサ12は、画面P101(
図6)をディスプレイに表示する。
【0053】
画面P101は、表示オブジェクトA101と、操作オブジェクトB101と、を含む。
表示オブジェクトA101は、ユーザに対して動画像の撮影が完了した旨を知らせるメッセージを含む。
操作オブジェクトB101は、生成された動画像データの送信を実行するためのユーザ指示を受け付けるオブジェクトである。
【0054】
ステップS100の後、クライアント装置10は、判定リクエスト(S101)を実行する。
具体的には、ユーザが、操作オブジェクトB101を操作すると、プロセッサ12は、判定リクエストデータをサーバ30に送信する。
判定リクエストデータは、以下の情報を含む。
・ステップS100で記憶装置11に記憶された動画像データと動き指示IDの組合せ
【0055】
ステップS101の後、サーバ30は、表情癖の特定(S300)を実行する。
具体的には、プロセッサ32は、判定リクエストデータに含まれる動画像データから顔の各部位の特徴量を算出する。
プロセッサ32は、表情癖情報データベース(
図4)を参照して、判定リクエストデータに含まれる動き指示IDに対応する各特徴量と、判定リクエストデータに含まれる動画像データから算出した特徴量とを比較し、動画像データにおける顔の動きについてその表情癖に該当するか否かを判断する。これを各表情癖について行う。例えば、動き指示ID「MES001」に関連付けられた動画像データについては、動き指示ID「MES001」に関連付けられた「特徴量」フィールドの各特徴量と比較する。
プロセッサ32は、表情癖情報データベース(
図4)を参照して、該当すると判断した表情癖の表情癖名に関する情報及び対応するアドバイス情報を特定する。
【0056】
ステップS300の後、サーバ30は、判定レスポンス(S301)を実行する。
具体的には、プロセッサ32は、判定レスポンスデータをクライアント装置10に送信する。
判定レスポンスデータは、以下の情報を含む。
・ステップS300で特定された表情癖名に関する情報
・ステップS300で特定されたアドバイス情報
【0057】
ステップS301の後、クライアント装置10は、判定結果の提示(S102)を実行する。
具体的には、プロセッサ12は、判定レスポンスデータに基づいて、画面P102(
図6)をディスプレイに表示する。
【0058】
画面P102は、表示オブジェクトA102を含む。
表示オブジェクトA102は、表情癖名、及び、対応するアドバイス情報を含む。アドバイス情報は、例えば、以下のうちの少なくとも1つであり得る。
・表情癖並びに表情癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処するための化粧品に関する情報(例えば、製品名、塗布部位、塗布量、製品画像等)
・表情癖並びに表情癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処するための美容器具に関する情報(例えば、製品名、使用方法、製品画像等)
・表情癖並びに表情癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処するための美容施術に関する情報(例えば、施術の種類(マッサージ、エステ、ヨガ等)、やり方等)
・表情癖並びに表情癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処するためのエクササイズに関する情報(例えば、ユーザ自身で行う表情エクササイズのやり方等)
・表情癖並びに表情癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処するためのその他のアドバイス情報
【0059】
本実施形態によれば、顔の動画像をクライアント装置10に与えることにより、表情癖が判定される。これにより、ユーザは、自身の表情癖を知ることができる。また、表情癖並びに表情癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処するためのアドバイス情報が提示される。これにより、ユーザは、より適切に表情癖並びに表情癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処するための対策をとることができる。
【0060】
また、表示されたメッセージに応じたユーザの顔の動きの動画像データと、対応する動き指示IDと、を関連付けて記憶することにより、ステップS300において動き指示のメッセージ内容に対応する特徴量を参照することができる。そのため、精度よく表情癖を特定することができる。
【0061】
(5)変形例
本実施形態の変形例について説明する。
【0062】
(5-1)変形例1
変形例1について説明する。変形例1は、ユーザ情報に基づいてユーザの表情癖を推測し、推測された表情癖に関する情報を提示する例である。
【0063】
(5-1-1)個人特性関連情報データベース
変形例1の個人特性関連情報データベースについて説明する。
図7は、変形例1の個人特性関連情報データベースのデータ構造を示す図である。
【0064】
図7の個人特性関連情報データベースには、個人特性と表情癖との関係性に関する情報が格納される。個人特性関連情報データベースは、「個人特性ID」フィールドと、「個人特性タイプ」フィールドと、「表情癖名」フィールドと、「アドバイス」フィールドと、を含む。
【0065】
「個人特性ID」フィールドには、個人特性を識別する個人特性IDが格納される。個人特性IDは、個人特性を識別する個人特性識別情報の一例である。
【0066】
「個人特性タイプ」フィールドには、個人特性のタイプに関する情報が格納される。「個人特性」とは、内面特性(例えば、性格特性、価値観特性、美容意識)及び行動特性(例えば、ライフスタイル、習慣)のうちの少なくとも1つを含む。
【0067】
「表情癖名」フィールドには、そのレコードにおける個人特性のタイプに該当する人物が有すると推測される表情癖の名称(表情癖名)に関する情報(例えば、テキスト)が格納される。個人特性のタイプから推測される表情癖は、複数の人物から得られた統計データに基づいている。
【0068】
「アドバイス」フィールドには、対応する表情癖並びに表情癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処するためのアドバイス情報(例えば、テキスト又は画像データ)が格納される。
【0069】
(5-1-2)肌状態関連情報データベース
変形例1の肌状態関連情報データベースについて説明する。
図8は、変形例1の肌状態関連情報データベースのデータ構造を示す図である。
【0070】
図8の肌状態関連情報データベースには、肌の状態(以下「肌状態」という)と表情癖との関係性に関する情報が格納される。肌状態関連情報データベースは、「肌状態ID」フィールドと、「肌状態タイプ」フィールドと、「表情癖名」フィールドと、「アドバイス」フィールドと、を含む。
【0071】
「肌状態ID」フィールドには、肌状態を識別する肌状態IDが格納される。肌状態IDは、肌状態を識別する肌状態識別情報の一例である。
【0072】
「肌状態タイプ」フィールドには、肌状態のタイプに関する情報が格納される。「肌状態」とは、人の肌の状態を指す。肌状態は、例えば、シワ、皮膚の粘弾性、皮膚の水分量、皮膚の水分蒸散量等に関する。
【0073】
「表情癖名」フィールドには、そのレコードにおける肌状態のタイプに該当する人物が有すると推測される表情癖の名称(表情癖名)に関する情報(例えば、テキスト)が格納される。肌状態のタイプから推測される表情癖は、複数の人物から得られた統計データに基づいている。
【0074】
「アドバイス」フィールドには、対応する表情癖並びに表情癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処するためのアドバイス情報(例えば、テキスト又は画像データ)が格納される。
【0075】
(5-1-3)情報処理
変形例1の情報処理について説明する。
図9は、変形例1の表情癖判定処理のシーケンス図である。
図10は、
図9の情報処理において表示される画面例を示す図である。
【0076】
図9に示すように、クライアント装置10は、判定条件の受付(S110)を実行する。
具体的には、プロセッサ12は、画面P100(
図6)をディスプレイに表示する。
【0077】
ユーザは、
図6と同様に、操作オブジェクトB100a、B100b及びB100cを操作する。これにより、表示オブジェクトA100a~A100cのそれぞれに対応するユーザの顔の動画像の動画像データが生成される。各動画像データには、対応する動き指示IDが関連づけられている。各動画像データは、記憶装置11に記憶される。
【0078】
プロセッサ12は、画面P201(
図10)をディスプレイに表示する。
【0079】
画面P201は、フィールドオブジェクトF201a~F201bと、操作オブジェクトB201と、を含む。
フィールドオブジェクトF201aは、個人特性に関する情報を指定するためのユーザ指示を受け付けるオブジェクトである。個人特性に関する情報は、例えば、ユーザが自己認識している個人特性のタイプに関する情報、個人特性を判定するアプリケーションによる判定結果に関する情報、又は、個人特性をサーバ30が判定するための所定の質問事項に対する回答に関する情報である。
フィールドオブジェクトF201bは、肌状態に関する情報を指定するためのユーザ指示を受け付けるオブジェクトである。肌状態に関する情報は、例えば、ユーザが自己認識している肌状態のタイプに関する情報、肌状態を判定するアプリケーションもしくは測定装置による判定結果に関する情報、肌状態をサーバ30が判定するための所定の質問事項に対する回答に関する情報、又は、顔の肌を含む画像データ(静止画像データもしくは動画像データ)である。
操作オブジェクトB201は、生成された動画像データ及びフィールドオブジェクトF201a~F201bに入力されたユーザ指示をサーバ30に送信するためのユーザ指示を受け付けるオブジェクトである。
【0080】
ステップS110の後、クライアント装置10は、判定リクエスト(S111)を実行する。
具体的には、ユーザが、フィールドオブジェクトF201a及びフィールドオブジェクトF201bにユーザ指示を入力し、かつ、操作オブジェクトB201を操作すると、プロセッサ12は、判定リクエストデータをサーバ30に送信する。
判定リクエストデータは、以下の情報を含む。
・ステップS110で記憶装置11に記憶された動画像データと動き指示IDの組合せ
・フィールドオブジェクトF201aに指定された個人特性に関する情報
・フィールドオブジェクトF201bに指定された肌状態に関する情報
【0081】
ステップS111の後、サーバ30は、
図5と同様に、表情癖の特定(S300)を実行する。
【0082】
ステップS300の後、サーバ30は、表情癖の推測(S311)を実行する。
具体的には、プロセッサ32は、判定リクエストデータに含まれる個人特性に関する情報に基づいて、ユーザの個人特性のタイプを特定する。
プロセッサ32は、個人特性関連情報データベース(
図7)を参照して、特定された個人特性のタイプに関連付けられた個人特性IDを特定する。
プロセッサ32は、個人特性関連情報データベース(
図7)を参照して、特定された個人特性IDに関連付けられた表情癖名に関する情報を特定する。プロセッサ32は、特定された表情癖名に関する情報のうち、ステップS300で特定されていない表情癖名に関する情報を特定する。この表情癖名に係る表情癖は、ユーザがステップS110の時点では有していないが、将来的に有する可能性がある表情癖(以下「推測表情癖」という)を示す。
プロセッサ32は、推測表情癖に関し、個人特性関連情報データベース(
図7)を参照して、特定された表情癖名に関する情報に対応するアドバイス情報を特定する。
プロセッサ32は、判定リクエストデータに含まれる肌状態に関する情報に基づいて、ユーザの肌状態のタイプを特定する。
プロセッサ32は、肌状態関連情報データベース(
図8)を参照して、特定された肌状態のタイプに関連付けられた肌状態IDを特定する。
プロセッサ32は、肌状態関連情報データベース(
図8)を参照して、特定された肌状態IDに関連付けられた表情癖名に関する情報を特定する。プロセッサ32は、特定された表情癖名に関する情報のうち、ステップS300で特定されていない表情癖名に関する情報を特定する。この表情癖名に係る表情癖は、ユーザがステップS110の時点では有していないが、将来的に有する可能性がある表情癖(推測表情癖)を示す。
プロセッサ32は、推測表情癖に関し、肌状態関連情報データベース(
図8)を参照して、特定された表情癖名に関する情報に対応するアドバイス情報を特定する。
【0083】
ステップS311の後、サーバ30は、判定レスポンス(S312)を実行する。
具体的には、プロセッサ32は、判定レスポンスデータをクライアント装置10に送信する。
判定レスポンスデータは、以下の情報を含む。
・ステップS300で特定された表情癖名に関する情報
・ステップS300で特定されたアドバイス情報
・ステップS311で特定された推測表情癖の表情癖名に関する情報
・ステップS311で特定されたアドバイス情報
【0084】
ステップS312の後、クライアント装置10は、判定結果の提示(S112)を実行する。
具体的には、プロセッサ12は、判定レスポンスデータに基づいて、画面P202(
図10)をディスプレイに表示する。
【0085】
画面P202は、表示オブジェクトA202a~A202bを含む。
表示オブジェクトA202aは、ステップS300で特定された表情癖名及び対応するアドバイス情報を含む。
表示オブジェクトA202bは、ステップS311で特定された推測表情癖の表情癖名及び対応するアドバイス情報を含む。アドバイス情報は、例えば、以下のうちの少なくとも1つであり得る。
・表情癖並びに表情癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処するための化粧品に関する情報(例えば、製品名、塗布部位、塗布量、製品画像等)
・表情癖並びに表情癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処するための美容器具に関する情報(例えば、製品名、使用方法、製品画像等)
・表情癖並びに表情癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処するための美容施術に関する情報(例えば、施術の種類(マッサージ、エステ、ヨガ等)、やり方等)
・表情癖並びに表情癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処するためのエクササイズに関する情報(例えば、ユーザ自身で行う表情エクササイズのやり方等)
・表情癖並びに表情癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処するためのその他のアドバイス情報
変形例1によれば、ユーザは、将来的に有する可能性がある表情癖を知ることができる。そのため、ユーザは、当該表情癖が実際に顔に現れる前にアドバイス情報等に基づく対策を施すことによって、当該表情癖並びに表情癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つが現れる可能性を低下させることができる。
【0086】
(5-2)変形例2
変形例2について説明する。変形例2は、ユーザ情報に基づいて表情癖並びに表情癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処するためのアドバイス情報を選択する例である。
【0087】
(5-2-1)表情癖情報データベース
変形例2の表情癖情報データベースについて説明する。
図11は、変形例2の表情癖情報データベースのデータ構造を示す図である。
【0088】
図11の表情癖情報データベースには、表情癖に関する表情癖情報が格納される。表情癖情報データベースは、「表情癖ID」フィールドと、「特徴量」フィールドと、「個人特性タイプ」フィールドと、「アドバイス」フィールドと、「表情癖名」フィールドと、を含む。各フィールドは、互いに関連付けられている。
【0089】
「表情癖ID」フィールド、「特徴量」フィールド、及び、「表情癖名」フィールドは、
図4の説明と同様である。
【0090】
「個人特性タイプ」フィールドには、個人特性のタイプに関する情報が格納される。
【0091】
「アドバイス」フィールドには、対応する表情癖並びに表情癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処するためのアドバイス情報(例えば、テキスト又は画像データ)が格納される。1つの表情癖IDに対して複数のアドバイス情報が格納される。アドバイス情報は、個人特性のタイプに関する情報と関連付けられている。
【0092】
(5-2-2)情報処理
変形例2の情報処理について説明する。
図12は、変形例2の表情癖判定処理のシーケンス図である。
図13は、
図12の情報処理において表示される画面例を示す図である。
【0093】
図12に示すように、クライアント装置10は、判定条件の受付(S120)を実行する。
具体的には、プロセッサ12は、画面P100(
図6)をディスプレイに表示する。
【0094】
ユーザは、
図6と同様に、操作オブジェクトB100a、B100b及びB100cを操作する。これにより、表示オブジェクトA100a~A100cのそれぞれに対応するユーザの顔の動画像の動画像データが生成される。各動画像データには、対応する動き指示IDが関連づけられている。各動画像データは、記憶装置11に記憶される。
【0095】
プロセッサ12は、画面P301(
図13)をディスプレイに表示する。
【0096】
画面P301は、フィールドオブジェクトF301と、操作オブジェクトB301と、を含む。
フィールドオブジェクトF301は、個人特性に関する情報を指定するためのユーザ指示を受け付けるオブジェクトである。個人特性に関する情報は、例えば、ユーザが自己認識している個人特性のタイプに関する情報、個人特性を判定するアプリケーションによる判定結果に関する情報、又は、個人特性をサーバ30が判定するための所定の質問事項に対する回答に関する情報である。
操作オブジェクトB301は、生成された動画像データ及びフィールドオブジェクトF301に入力されたユーザ指示をサーバ30に送信するためのユーザ指示を受け付けるオブジェクトである。
【0097】
ステップS120の後、クライアント装置10は、判定リクエスト(S121)を実行する。
具体的には、ユーザが、フィールドオブジェクトF201にユーザ指示を入力し、かつ、操作オブジェクトB301を操作すると、プロセッサ12は、判定リクエストデータをサーバ30に送信する。
判定リクエストデータは、以下の情報を含む。
・ステップS120で記憶装置11に記憶された動画像データと動き指示IDの組合せ
・フィールドオブジェクトF301に指定された個人特性に関する情報
【0098】
ステップS121の後、サーバ30は、表情癖の特定(S320)を実行する。
具体的には、プロセッサ32は、表情癖情報データベース(
図11)を参照して、
図5と同様に、動画像データにおける顔の動きについて各表情癖に該当するか否かを判断する。
プロセッサ32は、表情癖情報データベース(
図11)を参照して、該当すると判断した表情癖の表情癖名に関する情報を特定する。
【0099】
ステップS320の後、サーバ30は、アドバイス情報の特定(S321)を実行する。
具体的には、プロセッサ32は、判定リクエストデータに含まれる個人特性に関する情報に基づいて、ユーザの個人特性のタイプを特定する。プロセッサ32は、表情癖情報データベース(
図11)を参照して、S320で特定された表情癖名のレコードにおいて、特定された個人特性のタイプに関連付けられたアドバイス情報を特定する。
【0100】
ステップS321の後、サーバ30は、判定レスポンス(S322)を実行する。
具体的には、プロセッサ32は、判定レスポンスデータをクライアント装置10に送信する。
判定レスポンスデータは、以下の情報を含む。
・ステップS320で特定された表情癖名に関する情報
・ステップS321で特定されたアドバイス情報
【0101】
ステップS322の後、クライアント装置10は、判定結果の提示(S122)を実行する。
具体的には、プロセッサ12は、判定レスポンスデータに基づいて、画面P302(
図13)をディスプレイに表示する。
画面P302は、表示オブジェクトA302を含む。
表示オブジェクトA302は、表情癖名、及び、対応するアドバイス情報を含む。
変形例2によれば、ユーザは、ユーザ情報に基づいたアドバイス情報を得ることができる。例えば、同じ表情癖について、「1つのことを辛抱強く続ける」特性であるユーザに対しては「基礎化粧品Aを半年間毎日使用する」というアドバイス情報が提示される一方、「様々なことに挑戦する」特性であるユーザに対しては「美顔器Bとマッサージ法Cとを交互に1週間おきに3ヶ月間施す」というアドバイス情報が提示される。そのため、ユーザは、自身に適したアドバイス情報に従った対策をとることができる。
【0102】
(5-3)変形例3
変形例3について説明する。変形例3は、ユーザの肌の状態の推測情報を提示する例である。
【0103】
(5-3-1)表情癖情報データベース
変形例3の表情癖情報データベースについて説明する。
図14は、変形例3の表情癖情報データベースのデータ構造を示す図である。
【0104】
図14の表情癖情報データベースには、表情癖に関する表情癖情報が格納される。表情癖情報データベースは、「表情癖ID」フィールドと、「特徴量」フィールドと、「表情癖名」フィールドと、「アドバイス」フィールドと、「参照肌状態」フィールドと、を含む。各フィールドは、互いに関連付けられている。
【0105】
「表情癖ID」フィールド、「特徴量」フィールド、「表情癖名」フィールド、及び、「アドバイス」フィールドは、
図4の説明と同様である。
【0106】
「参照肌状態」フィールドには、そのレコードにおける表情癖を有する人物が備えていると推測される肌状態に関する情報(例えば、テキスト)が格納される。表情癖から推測される肌状態は、複数の人物から得られた統計データに基づいている。
【0107】
(5-3-2)情報処理
変形例3の情報処理について説明する。
図15は、変形例3の表情癖判定処理のシーケンス図である。
図16は、
図15の情報処理において表示される画面例を示す図である。
【0108】
図15に示すように、クライアント装置10は、
図5と同様に、判定条件の受付(S100)及び判定リクエスト(S101)を実行する。
【0109】
ステップS101の後、サーバ30は、表情癖情報データベース(
図14)を参照して、
図5と同様に、表情癖の特定(S330)を実行する。
【0110】
ステップS330の後、サーバ30は、肌状態の推測(S331)を実行する。
具体的には、プロセッサ32は、表情癖情報データベース(
図14)を参照して、ステップS330で特定された表情癖名に関する情報に関連付けられた参照肌状態に関する情報を、推測肌状態として特定する。
【0111】
ステップS331の後、サーバ30は、判定レスポンス(S332)を実行する。
具体的には、プロセッサ32は、判定レスポンスデータをクライアント装置10に送信する。
判定レスポンスデータは、以下の情報を含む。
・ステップS330で特定された表情癖名に関する情報
・ステップS330で特定されたアドバイス情報
・ステップS331で特定された推測肌状態に関する情報
【0112】
ステップS332の後、クライアント装置10は、判定結果の提示(S132)を実行する。
具体的には、プロセッサ12は、判定レスポンスデータに基づいて、画面P402(
図16)をディスプレイに表示する。
【0113】
画面P402は、表示オブジェクトA402を含む。
表示オブジェクトA402は、表情癖名、対応するアドバイス情報、及び、推測肌状態を含む。
変形例3によれば、ユーザは、推測される肌の状態を知ることができる。そのため、ユーザは、表情癖の原因となっている可能性がある肌の状態、又は、将来的な肌の状態を知ることができ、より適切に表情癖並びに表情癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処することができる。
【0114】
(5-4)変形例4
変形例4について説明する。変形例4は、1つの動画像データで複数のメッセージ内容に対応する例である。
【0115】
(5-4-1)情報処理
変形例4の情報処理について説明する。
図17は、変形例4の情報処理において表示される画面例を示す図である。
【0116】
図5に示すように、クライアント装置10は、判定条件の受付(S100)を実行する。
具体的には、プロセッサ12は、画面P500(
図17)をディスプレイに表示する。
【0117】
画面P500は、表示オブジェクトA500a~A500bと、操作オブジェクトB500と、を含む。
表示オブジェクトA500aは、ユーザに対して顔の動きを促すメッセージを含む。
表示オブジェクトA500bは、クライアント装置10に接続されたカメラ15が撮影する動画像を含む。
操作オブジェクトB500は、動画像の撮影を実行するためのユーザ指示を受け付けるオブジェクトである。
【0118】
ユーザが操作オブジェクトB500を操作すると、プロセッサ12は、ステップS100(
図5)において、操作オブジェクトB500の操作からn秒毎に表示オブジェクトA100に異なるメッセージ内容を表示する。
ユーザがメッセージ内容に合わせて顔の各部位を動かすと、プロセッサ12は、カメラ15が撮像した動画像データと、操作オブジェクトB100の操作からの経過時間nと、を関連付けて記憶装置11に記憶する。
【0119】
プロセッサ12は、画面P101(
図6)をディスプレイに表示する。
ステップS100の後、クライアント装置10は、判定リクエスト(S101)を実行する。
具体的には、ユーザが、操作オブジェクトB101を操作すると、プロセッサ12は、判定リクエストデータをサーバ30に送信する。
判定リクエストデータは、以下の情報を含む。
・ステップS100で記憶装置11に記憶された動画像データと経過時間nとの組合せ
【0120】
ステップS101の後、サーバ30は、表情癖の特定(S300)を実行する。
具体的には、記憶装置31には、経過時間nと、メッセージ内容と、が関連付けて記憶されている。
プロセッサ32は、判定リクエストデータに含まれる動画像データと経過時間nの組合せに基づいて、当該動画像データに対応するメッセージ内容を特定する。
図5と同様に、プロセッサ32は、特徴量の比較を行い、該当すると判断した表情癖の表情癖名に関する情報及び対応するアドバイス情報を特定する。
【0121】
ステップS300の後、サーバ30は、
図5と同様に、判定レスポンス(S301)を実行する。
【0122】
ステップS301の後、クライアント装置10は、
図5と同様に、判定結果の提示(S102)を実行する。
【0123】
変形例4によれば、1つの動画像データで複数のメッセージ内容に対応することできる。そのため、ユーザは、より簡単な操作で判定条件を指定することができる。
【0124】
(5-5)変形例5
変形例5について説明する。変形例5は、アドバイス情報がメッセージ内容によって異なる例である。
【0125】
(5-5-1)表情癖情報データベース
変形例5の表情癖情報データベースについて説明する。
図18は、変形例5の表情癖情報データベースのデータ構造を示す図である。
【0126】
図18の表情癖情報データベースには、表情癖に関する表情癖情報が格納される。表情癖情報データベースは、「表情癖ID」フィールドと、「特徴量」フィールドと、「表情癖名」フィールドと、「アドバイス」フィールドと、を含む。各フィールドは、互いに関連付けられている。
表情癖情報データベースは、動き指示IDに関連付けられている。
【0127】
「表情癖ID」フィールド、「特徴量」フィールド、及び、「表情癖名」フィールドは、
図4の説明と同様である。
【0128】
「アドバイス」フィールドには、対応する表情癖並びに表情癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処するためのアドバイス情報(例えば、テキスト又は画像データ)が格納される。変形例5では、同じ表情癖でも動き指示IDが異なるとアドバイス情報も異なる。
【0129】
(5-5-2)情報処理
変形例5の情報処理について説明する。
図19は、変形例5の情報処理において表示される画面例を示す図である。
【0130】
クライアント装置10は、
図5と同様に、判定条件の受付(S100)及び判定リクエスト(S101)を実行する。
【0131】
ステップS101の後、サーバ30は、表情癖の特定(S300)を実行する。
具体的には、変形例5では、プロセッサ32は、判定リクエストデータに含まれる動き指示IDに関連付けられた表情癖情報データベース(
図18)を参照して、各特徴量と、判定リクエストデータに含まれる動画像データから算出した特徴量とを比較し、動画像データにおける顔の動きについてその表情癖に該当するか否かを判断する。
プロセッサ32は、表情癖情報データベース(
図18)を参照して、該当すると判断した表情癖の表情癖名に関する情報及び対応するアドバイス情報を特定する。
【0132】
ステップS300の後、サーバ30は、
図5と同様に、判定レスポンス(S301)を実行する。
【0133】
ステップS301の後、クライアント装置10は、判定結果の提示(S102)を実行する。
具体的には、プロセッサ12は、判定レスポンスデータに基づいて、画面P602(
図19)をディスプレイに表示する。
【0134】
画面P602は、表示オブジェクトA602を含む。
表示オブジェクトA602は、表情癖名、及び、対応するアドバイス情報を含む。
【0135】
変形例5によれば、メッセージ内容が考慮されたアドバイス情報が提示される。そのため、ユーザは、より的確なアドバイス情報を知ることができる。
【0136】
(6)本実施形態の小括
本実施形態について小括する。
【0137】
本実施形態の第1態様は、
ユーザの顔の動画像情報を取得する手段(例えば、ステップS300の処理を実行するプロセッサ32)を備え、
動画像情報に基づいて、ユーザの顔の動きに関する動き情報を抽出する手段(例えば、ステップS300の処理を実行するプロセッサ32)を備え、
動き情報に基づいて、ユーザの顔の動きの癖を特定する手段(例えば、ステップS300の処理を実行するプロセッサ32)を備える、
情報処理装置(例えば、サーバ30)である。
【0138】
第1態様によれば、ユーザの顔の動きの癖(表情癖)が判定される。これにより、ユーザが自身の表情癖を知るための結果を生成することができる。
【0139】
本実施形態の第2態様は、
特定された動きの癖に関する情報を提示する手段(例えば、ステップS301の処理を実行するプロセッサ32)を備える、
情報処理装置である。
【0140】
第2態様によれば、ユーザに表情癖を知るための結果が提示される。これにより、ユーザは、自身の表情癖を知ることができる。
【0141】
本実施形態の第3態様は、
ユーザに関するユーザ情報を取得する手段(例えば、ステップS300の処理を実行するプロセッサ32)を備え、
ユーザ情報に基づいて、ユーザの顔の動きの癖を推測する手段(例えば、ステップS311の処理を実行するプロセッサ32)を備え、
推測された動きの癖に関する情報を提示する手段(例えば、ステップS312の処理を実行するプロセッサ32)を備える、
情報処理装置である。
【0142】
第3態様によれば、ユーザは、将来的に有する可能性がある表情癖を知ることができる。そのため、ユーザは、当該表情癖が実際に顔に現れる前にアドバイス情報等に基づく対策を施すことによって、当該表情癖並びに表情癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つが現れる可能性を低下させることができる。
【0143】
本実施形態の第4態様は、
ユーザ情報は、ユーザの個人特性、及び体調のうちの少なくとも1つに関する情報を含む、
情報処理装置である。
【0144】
第4態様によれば、ユーザは、個人特性、及び体調のうちの少なくとも1つと相関のある将来的に有する可能性がある表情癖を知ることができる。
【0145】
本実施形態の第5態様は、
ユーザ情報はユーザの肌又は顔の状態に関する情報を含む、
情報処理装置である。
【0146】
第5態様によれば、ユーザは、肌又は顔の状態と相関のある将来的に有する可能性がある表情癖を知ることができる。
【0147】
本実施形態の第6態様は、
動きの癖に関する情報は、動きの癖及び動きの癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処するためのアドバイス情報を含む、
情報処理装置である。
【0148】
第6態様によれば、表情癖並びに表情癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処するためのアドバイス情報が提示される。これにより、ユーザは、より適切に表情癖並びに表情癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処するための対策をとることができる。
【0149】
本実施形態の第7態様は、
ユーザに関するユーザ情報を取得する手段(例えば、ステップS320の処理を実行するプロセッサ32)を備え、
ユーザ情報に基づいて、動きの癖及び動きの癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処するためのアドバイス情報を選択する手段(例えば、ステップS321の処理を実行するプロセッサ32)を備え、
選択されたアドバイス情報が提示される、
情報処理装置である。
【0150】
第7態様によれば、ユーザ情報に基づいたアドバイス情報を得ることができる。そのため、ユーザは、自身に適したアドバイス情報に従った対策をとることができる。
【0151】
本実施形態の第8態様は、
動きの癖に関する情報は、ユーザの肌又は顔の状態の推測情報を含む、
情報処理装置である。
【0152】
第8態様によれば、ユーザは、推測される肌の状態を知ることができる。そのため、ユーザは、表情癖の原因となっている可能性がある肌の状態、又は、将来的な肌の状態を知ることができ、より適切に表情癖並びに表情癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つに対処することができる。
【0153】
本実施形態の第9態様は、
動画像情報を取得する手段は、ユーザに対して顔の動きを促すメッセージに応じた顔の動きの動画像情報を取得し、
メッセージに関する情報と動画像情報とを関連付けて記憶する手段を備える、
情報処理装置である。
【0154】
第9態様によれば、メッセージ内容を考慮して表情癖が特定される。そのため、ユーザは、より正確な表情癖を知ることができる。また、メッセージ内容が考慮されたアドバイス情報が提示される。そのため、ユーザは、より的確なアドバイス情報を知ることができる。
【0155】
本実施形態の第10態様は、
ユーザに関するユーザ情報を取得する手段(例えば、ステップS300の処理を実行するプロセッサ32)を備え、
ユーザ情報に基づいて、顔の動きの癖を推測する手段(例えば、ステップS311の処理を実行するプロセッサ32)を備え、
推測された動きの癖に関する情報を提示する手段(例えば、ステップS312の処理を実行するプロセッサ32)を備える、
情報処理装置(例えば、サーバ30)である。
【0156】
第10態様によれば、ユーザは、将来的に有する可能性がある表情癖を知ることができる。そのため、ユーザは、当該表情癖が実際に顔に現れる前にアドバイス情報等に基づく対策を施すことによって、当該表情癖並びに表情癖の影響で表れ得る肌特徴及び顔特徴のうちの少なくとも1つが現れる可能性を低下させることができる。
【0157】
本実施形態の第11態様は、
コンピュータ(例えば、プロセッサ32)を、上記の各手段として機能させるためのプログラムである。
【0158】
(7)その他の変形例
【0159】
記憶装置11は、ネットワークNWを介して、クライアント装置10と接続されてもよい。記憶装置31は、ネットワークNWを介して、サーバ30と接続されてもよい。
【0160】
上記の情報処理の各ステップは、クライアント装置10及びサーバ30の何れでも実行可能である。
1つの装置がネットワークを介さずに全ての情報処理を行ってもよい。
【0161】
本実施形態では、ユーザに対して提示する顔の動きを促すメッセージに関する情報がテキストである例を示したが、本実施形態はこれに限られない。当該メッセージに関する情報は、動画像であってもよい。動画像は、例えば、様々な表情をする顔のアニメーション動画像であり、ユーザはその表情を真似しながら、画面P100における操作オブジェクトB100を操作し、ユーザの顔の動画像の動画像データが生成されてもよい。
【0162】
本実施形態では、カメラ15から取得した動画像に基づいて表情癖を判定する例を示したが、本実施形態はこれに限られない。記憶装置11又は記憶装置31に記憶された動画像に基づいて表情癖を判定してもよい。
【0163】
本実施形態では、画面P100にカメラ15が撮影する動画像を含む表示オブジェクトA100dが含まれる例を示したが、本実施形態はこれに限られない。画面P100に表示オブジェクトA100dは含まれなくてもよい。この場合、ユーザは顔の各部位を動かす際に自身の顔を一切見られないため、本来の表情になり易く、より正確に表情癖を判定することができる。
【0164】
本実施形態では、表情癖に関する情報として表情癖名及びアドバイス情報が提示される例を示したが、本実施形態はこれに限られない。提示される表情癖に関する情報は、例えば、表情癖名及びアドバイス情報の何れか一方であってもよい。
【0165】
変形例1では、推測される表情癖に関する情報として表情癖名及びアドバイス情報が提示される例を示したが、本実施形態はこれに限られない。提示される表情癖に関する情報は、例えば、表情癖名及びアドバイス情報の何れか一方であってもよい。
【0166】
本実施形態及び変形例1において、提示される表情癖名は、状態に関する文脈(例えば、「眉上がり」)である例を示したが、本実施形態はこれに限られない。提示される表情癖名に関する情報は、例えば、状態と、程度、顔の部位、及び、シチュエーションのうちの少なくとも1つと、の組み合わせの文脈であってもよい。具体的には、状態と程度との組合せの文脈(例えば、「強度の眉上がり」)、状態と顔の部位との組合せの文脈(例えば、「右目の目尻シワ」)、並びに、状態とシチュエーションとの組合せの文脈(例えば、「笑顔を作る際に口角がほとんど上がっていない」)のうちの少なくとも1つであってもよい。また、提示される表情癖に関する情報は、メッセージ内容に関する情報を含んでいてもよい。
【0167】
変形例1において、ユーザ情報がユーザの個人特性に関する情報及びユーザの肌の状態に関する情報である例を示したが、本実施形態はこれに限られない。ユーザ情報は、例えば、ユーザの個人特性、ユーザの体調、ユーザの肌の状態、ユーザの顔の状態、及び、ユーザの属性のうちの少なくとも1つであってもよい。「顔の状態」とは、人の顔の状態を指す。顔の状態は、例えば、顔の血流、顔の3D形状等に関する。「ユーザの属性」としては、例えば、年齢、性別、職業等が挙げられる。
【0168】
変形例1では、肌状態はフィールドオブジェクトF201bに指定する例を示したが、本実施形態はこれに限られない。肌状態は、画面P100(
図6)の操作オブジェクトB100a~B100cの操作により生成された動画像データから画像解析で特定されてもよい。
【0169】
変形例2では、ユーザ情報がユーザの個人特性に関する情報である例を示したが、本実施形態はこれに限られない。ユーザ情報は、例えば、ユーザの個人特性、ユーザの体調、ユーザの肌の状態、ユーザの顔の状態、及び、ユーザの属性のうちの少なくとも1つであってもよい。
【0170】
以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。
【符号の説明】
【0171】
1 :情報処理システム
10 :クライアント装置
11 :記憶装置
12 :プロセッサ
13 :入出力インタフェース
14 :通信インタフェース
15 :カメラ
30 :サーバ
31 :記憶装置
32 :プロセッサ
33 :入出力インタフェース
34 :通信インタフェース