特開 2022-85706 情報処理装置、プログラム、及び情報処理装置の動作方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022085706

(43)【公開日】2022-06-08

(54)【発明の名称】情報処理装置、プログラム、及び情報処理装置の動作方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220601BHJP

   G06Q 30/00 20120101ALI20220601BHJP

【ＦＩ】

G06T7/00 660A

G06T7/00 350C

G06Q30/00

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2020197515

(22)【出願日】2020-11-27

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＦｅｌｉＣａ

２．ＺＩＧＢＥＥ

３．ＢＬＵＥＴＯＯＴＨ

４．ＡｉｒＤｒｏｐ

(71)【出願人】

【識別番号】000145862

【氏名又は名称】株式会社コーセー

(71)【出願人】

【識別番号】504133110

【氏名又は名称】国立大学法人電気通信大学

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100139491

【弁理士】

【氏名又は名称】河合 隆慶

(72)【発明者】

【氏名】高杉 順子

(72)【発明者】

【氏名】中村 理恵

(72)【発明者】

【氏名】黒沢 正治

(72)【発明者】

【氏名】庄野 逸

【テーマコード（参考）】

5L049

5L096

【Ｆターム（参考）】

5L049BB72

5L096AA02

5L096AA06

5L096CA02

5L096DA01

5L096DA02

5L096GA41

5L096HA11

5L096KA04

(57)【要約】

【課題】熟練評価者による印象評価を高い精度で再現して化粧品の販売を支援する。
【解決手段】情報処理装置は、人物の顔画像と当該顔画像に対する印象評価を教師データとして前記印象評価に寄与する前記顔画像の特徴部分と当該印象評価の対応付けを機械学習したモデルを格納する記憶部と、入力された顔画像の特徴部分と当該特徴部分に対応する印象評価とを、前記モデルを用いて求めて出力する制御部と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

人物の顔画像と当該顔画像に対する印象評価を教師データとして前記印象評価に寄与する前記顔画像の特徴部分と当該印象評価の対応付けを機械学習したモデルを格納する記憶部と、
入力された顔画像の特徴部分と当該特徴部分に対応する印象評価とを、前記モデルを用いて求めて出力する制御部と、
を有する情報処理装置。

【請求項2】

請求項１において、
前記記憶部は、前記モデルにおいて対応付けられる前記特徴部分と前記印象評価の組み合わせに対し推奨すべき化粧品を示す推奨情報を更に格納し、
前記制御部は、前記モデルを用いて求めた特徴部分と印象評価の組み合わせに対し推奨すべき化粧品を前記推奨情報に基づいて選定し、選定した化粧品を示す情報を更に出力する、
情報処理装置。

【請求項3】

請求項１又は２において、
前記教師データでは、年齢が異なる複数の人物の顔画像に同じ印象評価が対応付けられる、
情報処理装置。

【請求項4】

請求項１～３のいずれかにおいて、
前記制御部は、前記入力された撮像画像とともに前記モデルを用いて求めた特徴部分を示す画像を生成して出力する、
情報処理装置。

【請求項5】

コンピュータにより実行されることで、当該コンピュータに請求項１～４のいずれかに記載の情報処理装置として動作させる、
プログラム。

【請求項6】

情報処理装置の動作方法であって、
人物の顔画像と当該顔画像に対する印象評価を教師データとして前記印象評価に寄与する前記顔画像の特徴部分と当該印象評価の対応付けを機械学習してモデルを作成する第１の工程と、
入力された顔画像の特徴部分と当該特徴部分に対応する印象評価とを、前記モデルを用いて求めて出力する第２の工程と、
を有する情報処理装置の動作方法。

【請求項7】

請求項６において、
前記モデルにおいて対応付けられる前記特徴部分と前記印象評価の組み合わせに対し推奨すべき化粧品を示す推奨情報を参照し、前記モデルを用いて求めた特徴部分と印象評価の組み合わせに対し推奨すべき化粧品を選定する第３の工程と、
選定した化粧品を示す情報を更に出力する第４の工程と、
を更に有する情報処理装置の動作方法。

【請求項8】

請求項６又は７において、
前記教師データでは、年齢が異なる複数の人物の顔画像に同じ印象評価が対応付けられる、
情報処理装置の動作方法。

【請求項9】

請求項６～８のいずれかにおいて、
前記第２の工程では、前記入力された撮像画像とともに前記モデルを用いて求めた特徴部分を示す画像を生成して出力する、
情報処理装置の動作方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、プログラム、及び情報処理装置の動作方法及びに関する。

【背景技術】

【0002】

化粧品の販売においては、多様化する顧客のニーズに応じた美容手段のカスタマイズが求められる。例えば、肌の状態改善を希望する顧客に対しては、販売員が、調査票により顧客の年齢、肌質、肌悩み等を聴取したり、肌の物理的特徴を機器により測定したりしてカウンセリングを行い、顧客の肌タイプに適した商品を推奨するといった手順が行われる。かかる手順を支援する技術として、例えば、特許文献１には、顧客の顔を撮像した顔画像から顧客の肌年齢を推定する情報処理装置が提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２０１９－５１２７９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

顧客の満足度をより高めるためには、顧客の容貌が全体として他者に与える印象を客観的に評価し、印象を改善するための美容手段を提供することが望ましい。その点、肌タイプは、肌の物理的特徴の測定、肌の物理的特徴を画像認識して肌年齢を推定するといった従来の手段により定量的に測定されうるものの、印象を左右する要素の一つにすぎない。印象を左右する要素には、若々しさ、活き活き感といった、定量的な測定が困難で、感覚的に把握されるものが多く含まれる。そして、こうした非定量的で感覚的な要素の客観的な評価は、熟練した美容技術者の属人的なスキルに依存する。よって、印象評価の客観化においては、熟練評価者による印象評価の再現性を高い精度で確保することが求められる。

【0005】

上記に鑑み、以下では、熟練評価者による印象評価を高い精度で再現して化粧品の販売を支援することが可能な、情報処理装置等を開示する。

【課題を解決するための手段】

【0006】

本開示における情報処理装置は、人物の顔画像と当該顔画像に対する印象評価を教師データとして前記印象評価に寄与する前記顔画像の特徴部分と当該印象評価の対応付けを機械学習したモデルを格納する記憶部と、入力された顔画像の特徴部分と当該特徴部分に対応する印象評価とを、前記モデルを用いて求めて出力する制御部と、を有する。

【0007】

また、本開示における情報処理装置の動作方法は、人物の顔画像と当該顔画像に対する印象評価を教師データとして前記印象評価に寄与する前記顔画像の特徴部分と当該印象評価の対応付けを機械学習してモデルを作成する第１の工程と、入力された顔画像の特徴部分と当該特徴部分に対応する印象評価とを、前記モデルを用いて求めて出力する第２の工程と、を有する。

【発明の効果】

【0008】

本開示における情報処理装置等によれば、熟練評価者による印象評価を高い精度で再現して化粧品の販売を支援することが可能となる。

【図面の簡単な説明】

【0009】

【図1】情報処理システムの構成例を示す図である。

【図2】情報処理装置の構成例を示す図である。

【図3】端末装置の構成例を示す図である。

【図4】情報処理装置による動作例を示すフローチャート図である。

【図5】情報処理装置による動作例を示すフローチャート図である。

【図6】情報処理装置による動作例を示すフローチャート図である。

【図7A】情報処理システムが参照する情報の例を示す図である。

【図7B】情報処理システムが参照する情報の例を示す図である。

【図8A】顔画像の処理について説明する図である。

【図8B】顔画像の処理について説明する図である。

【図8C】顔画像の処理について説明する図である。

【図8D】顔画像の処理について説明する図である。

【図9】推奨化粧品の情報について説明する図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施の形態について説明する。

【0011】

図１は、一実施形態における情報処理装置の構成例を示す図である。情報処理システム１は、例えば化粧品の販売店舗において、来店した顧客に対する販売員による美容手段のカウンセリングを支援する。情報処理システム１は、端末装置１１及び情報処理装置１２を有する。端末装置１１及び情報処理装置１２は、ネットワーク１０を介し、又はネットワーク１０を介さずに有線又は近距離無線通信等によりピアツーピアで互いに接続され、情報を送受信する。ネットワーク１０は、インターネット、少なくとも１つのＷＡＮ（wide area network）、少なくとも１つのＭＡＮ（metropolitan area network）、又はこれらの任意の組合せを含む。ネットワーク１０は、少なくとも１つの無線ネットワーク、少なくとも１つの光ネットワーク、又はこれらの任意の組合せを含んでもよい。無線ネットワークは、例えば、アドホックネットワーク、セルラーネットワーク、無線ＬＡＮ（local area network）、衛星通信ネットワーク、又は地上マイクロ波ネットワークである。端末装置１１は、化粧品の販売員が使用する、例えば、タブレット端末、スマートフォンといった、撮像機能を備えた情報処理端末装置である。情報処理装置１２は、例えば、クラウドコンピューティングシステム又はその他のコンピューティングシステムに属するサーバ等のコンピュータである。

【0012】

情報処理装置１２は、人物の顔を撮像して得られる顔画像と、顔画像に対する熟練評価者による印象評価とを教師データとして、印象評価に寄与する顔画像の特徴部分と印象評価の対応付けを予め機械学習したモデル（以下、印象評価モデルという）を格納する。印象評価は、例えば、親しみやすさ、若々しさ、かわいらしさ、明るさ、社交的な、活き活き感といった要素の充足度についての評価である。かかる教師データの機械学習により得られる印象評価モデルは、熟練評価者による印象評価を反映する。販売店舗においては、店舗に配置される販売部員が、来店した顧客の顔を端末装置１１により撮像する。情報処理装置１２は、端末装置１１から顧客の顔画像の入力を受け、入力された顔画像の特徴部分と、その特徴部分に対応する印象評価とを、印象評価モデルを用いて求め、求めた印象評価を端末装置１１へ出力する。販売員は、端末装置１１により印象評価と特徴部分とを表示等により出力し、顧客に提示する。情報処理装置１２は、顧客の顔画像に対する印象評価において、印象評価モデルを用いることで、熟練評価者による印象評価を高い精度で再現することが可能となる。また、印象評価に寄与する特徴部分を提示することで、顧客において印象評価に対する納得感を向上させることが可能となる。

【0013】

また、情報処理装置１２は、印象評価モデルにおいて対応付けられる特徴部分と前記印象評価の組み合わせに対し推奨すべき化粧品を示す推奨情報を更に格納する。推奨情報は、例えば、シワ改善スキンケア用の化粧品、目元を整えるアイブロウ用の化粧品、たるみ改善スキンケア用の化粧品、印象改善に必要な効果と商品群情報等を含む。そして、情報処理装置１２は、印象評価モデルを用いて求めた特徴部分と印象評価の組み合わせに対し推奨すべき化粧品を推奨情報に基づいて選定し、選定した化粧品を示す情報を更に出力する。販売員は、情報処理装置１２が出力する情報を端末装置１１により受けて顧客に提示する。これにより、顧客に対し、熟練評価者の印象評価を反映した化粧品の推奨が可能になる。

【0014】

図２は、情報処理装置１２の構成例を示す。情報処理装置１２は、例えば、各種機能を実装するサーバとして機能するサーバコンピュータである。情報処理装置１２は、互いに情報通信可能に接続されて連携動作する一以上のサーバコンピュータであってもよい。情報処理装置１２は、入出力部２０、通信部２１、記憶部２２、及び制御部２３を有する。

【0015】

入出力部２０は、ユーザの入力を検出し、入力情報を制御部２３に送る入力インターフェースを有する。入力インターフェースは、例えば、物理キー、静電容量キー、パネルディスプレイと一体的に設けられたタッチスクリーン、各種ポインティングデバイス等を含む任意の入力インターフェースである。また、入出力部２０は、制御部２３が生成したり記憶部２２から読み出したりする情報を、ユーザに対して出力する出力インターフェースを有する。かかる出力インターフェースは、例えば、情報を画像・映像として出力するディスプレイ、情報を音声として出力するスピーカ、または、外部の出力機器との接続インターフェースを含む、任意の出力インターフェースである。

【0016】

通信部２１は、ネットワーク１０に接続するための、１つ以上の有線または無線ＬＡＮ規格に対応する通信モジュールを有する。または、通信部２１は、端末装置１１とピアツーピアで接続するための、１つ以上の有線または無線規格に対応する通信モジュールを有してもよい。かかる通信モジュールは、Bluetooth、AirDrop、IrDA、ZigBee、Felica、RFID等の近距離通信に対応する通信モジュールを含んでもよい。

【0017】

記憶部２２は、１つ以上のメモリを含む。記憶部２２に含まれる各メモリは、例えば半導体メモリ、磁気メモリ、または光メモリ等であるが、これらに限られない。各メモリは、例えば主記憶装置、補助記憶装置、またはキャッシュメモリとして機能する。記憶部２２は、情報処理装置１２の動作に用いられる任意の情報、制御・処理プログラムを記憶する。記憶部２２は、ネットワーク１０その他のネットワークを介してダウンロードされる各種機能を提供するアプリケーションプログラム等を記憶してもよい。

【0018】

制御部２３は、１つ以上のプロセッサを有する。各プロセッサは、汎用のプロセッサ、または特定の処理に特化した専用のプロセッサであるが、これらに限られない。制御部２３は、記憶部２２に格納される制御・処理プログラムに従って情報処理装置１２の動作を統括的に制御する。

【0019】

情報処理装置１２では、記憶部２２は、制御部２３が後述する手順により作成する印象評価モデル２４を格納する。また、記憶部２２は、印象評価モデル２４において対応付けられる特徴部分と印象評価の組み合わせに対し推奨すべき化粧品の情報を含む推奨情報２５、印象評価に対する判断基準についての基準情報２６等を格納する。

【0020】

図３は、端末装置１１の構成例を示す。端末装置１１は、例えばタブレット端末、スマートフォンといった、情報処理端末装置である。端末装置１１は、入出力部３０、通信部３１、記憶部３２、及び制御部３３を有する。

【0021】

入出力部３０は、ユーザの入力を検出し、入力情報を制御部３３に送る入力インターフェースを有する。かかる入力インターフェースは、例えば、物理キー、静電容量キー、パネルディスプレイと一体的に設けられたタッチスクリーン、各種ポインティングデバイス、音声入力を受け付けるマイクロフォン、撮像画像または画像コードを取り込むカメラ等を含む任意の入力インターフェースである。また、入出力部３０は、制御部３３が生成したり記憶部３２から読み出したりする情報を、ユーザに対して出力する出力インターフェースを有する。かかる出力インターフェースは、例えば、情報を画像・映像として出力するディスプレイ、情報を音声として出力するスピーカ、または、外部の出力機器との接続インターフェースを含む、任意の出力インターフェースである。

【0022】

通信部３１は、有線または無線ＬＡＮ規格に対応する通信モジュール、４Ｇ（4th Generation）、５Ｇ（5th Generation）等の移動体通信規格に対応するモジュール、Bluetooth、AirDrop、IrDA、ZigBee、Felica、RFID等の近距離通信に対応する通信モジュール等を含む。端末装置１１は、通信部３１により、ネットワーク１０経由で又はピアツーピアで、情報処理装置１２と情報通信を行う。

【0023】

記憶部３２は、一つ以上のメモリを含む。記憶部３２に含まれる各メモリは、例えば半導体メモリ、磁気メモリ、または光メモリ等であるが、これらに限られない。各メモリは、例えば主記憶装置、補助記憶装置、またはキャッシュメモリとして機能する。記憶部３２は、端末装置１１の動作に用いられる任意の情報を記憶する。例えば、記憶部３２は、制御・処理プログラム、組込みソフトウェア、ネットワーク１０その他のネットワークを介してダウンロードされる各種機能を提供するアプリケーションプログラム等を記憶する。

【0024】

制御部３３は、一つ以上のプロセッサを有する。各プロセッサは、汎用のプロセッサ、または特定の処理に特化した専用のプロセッサであるが、これらに限られない。制御部３３は、記憶部３２に格納される制御・処理プログラムに従って動作することで、端末装置１１の動作を統括的に制御する。

【0025】

端末装置１１では、制御部３３が、入出力部３０への販売員による操作入力に応答して、入出力部３０のカメラに顧客の顔を撮像させ、撮像により得られる顔画像を、通信部３１を介して情報処理装置１２へ送る。また、制御部３３は、情報処理装置１２から送られる情報を、通信部３１を介して受けて入出力部３０のディスプレイにより表示する。

【0026】

図４は、情報処理装置１２が機械学習により印象評価モデル２４を作成するときの、情報処理装置１２の動作手順例を示すフローチャート図である。このフローチャート図は、制御部２３による情報処理手順に対応する。

【0027】

ステップＳ４００において、制御部２３は、教師データを読み込んで記憶部２２に格納する。教師データは、人物の顔をデジタルカメラで撮像して得られた顔画像と、顔画像に対し熟練評価者が付与した印象評価とを有する。以下、教師データに含まれる顔画像を、学習用顔画像という。学習用顔画像は、例えば、２０代～７０代に略均一に分布する数百人の日本人女性の顔を正面方向から撮像して得られる。各人物は、ヘアネットを用いて髪型を統一し、化粧をしていない状態で、真顔で撮像される。印象評価は、各学習用顔画像について所与の要素毎に付与される離散値（以下、評価値という）である。評価値は、学習用顔画像の人物の表情、性格、評価者の嗜好による影響を排除して、示された顔画像に対する熟練評価者の目視評価により付与される。要素は、例えば、親しみやすさ、若々しさ、かわいらしさ、明るさ、社交的な、活き活き感等である。各要素が充足される度合いが高いほど良好な評価がなされる。そして、評価が良好なほど低い値の評価値が、例えば１～７の７段階の離散値として付与される。離散値のダイナミックレンジは、評価者が分類可能な幅に合わせて任意に設定してよい。ここでは、分類モデルによる評価値の学習を例としているが、回帰モデルを用いてもよい。

【0028】

ステップＳ４０２において、制御部２３は、各学習用顔画像に対し、機械学習の前段階としての画像処理を行う。画像処理は、例えば、学習用顔画像の正規化、学習用顔画像からの顔部位の抽出、ランダムクロップ、水平・垂直方向へのランダムフリップ、ランダム回転、ランダムな彩度調整、垂直方向のドロップアウト等を含む。顔部位の抽出では、学習用顔画像内の髪、首等の部位の影響を排除するために任意のオープンソースライブラリを使用して顔部位を抽出したり、バウンディングボックスの頂点をオペレータが指定して顔部位を抽出したりすることが可能である。また、ランダムクロップでは、一例として、５１２×５１２ピクセルの学習用顔画像を２５６×２５６ピクセルにリサイズした後、２２４×２２４ピクセルでランダムクロップが行われる。

【0029】

ステップＳ４０４において、制御部２３は、教師データを用いた機械学習により印象評価モデル２４を作成する。制御部２３は、例えば、畳み込みニューラルネットワークを用いて機械学習を行う。制御部２３は、例えば、畳み込み層とプーリング層で学習用顔画像における特徴部分を抽出し、抽出した特徴部分を多層ニューラルネットワークで印象評価と照合することで、学習用顔画像に付与された印象評価に寄与する特徴部分と印象評価とを対応付けて学習し、印象評価モデル２４を作成する。

【0030】

図５は、情報処理装置１２が、印象評価モデル２４を用いて顧客の顔画像の印象評価を行うときの、情報処理装置１２の動作手順例を示すフローチャート図である。このフローチャート図は、制御部２３による情報処理手順に対応する。

【0031】

ステップＳ５００において、制御部２３は、顔画像、顧客情報の入力を受け付ける。例えば、店舗において販売員が来店した顧客の顔を端末装置１１で撮像し、端末装置１１に顧客の年齢、性別、その他の顧客情報を入力する。端末装置１１は、撮像画像および顧客情報を情報処理装置１２へ送る。情報処理装置１２では、制御部２３が、通信部２１を介して撮像画像および顧客情報を受け付ける。顔画像と顧客情報は記憶部２２に格納される。以下、制御部２３が入力を受け付けて印象評価を求める顔画像を、評価用顔画像という。

【0032】

ステップＳ５０２において、制御部２３は、評価用顔画像に対し、印象評価を求める前段階としての画像処理を行う。画像処理は、評価用顔画像の正規化、評価用顔画像からの顔部位の抽出、ランダムクロップ、水平・垂直方向へのランダムフリップ、ランダム回転、ランダムな彩度調整、垂直方向のドロップアウト等を含む。

【0033】

ステップＳ５０４において、制御部２３は、印象評価モデル２４を用いて、評価用顔画像の印象評価を求める。制御部２３は、印象評価モデル２４の最終層出力における最大値に対応する評価値のクラスを、印象評価として求める。評価値は、１～７の離散値で付される。

【0034】

ステップＳ５０６において、制御部２３は、印象評価モデル２４を用いて、評価用顔画像の印象評価に寄与する特徴部分を求める。印象評価に寄与する特徴部分は、例えば、ヒートマップとして表される。制御部２３は、特徴部分を示すヒートマップを、畳み込みニューラルネットワークを介して作成する。制御部２３は、最終出力層における出力の最大値を、シグモイド関数、ソフトマックス関数といった活性化関数を用いて、０～１の数値による確率的表現に変換する。制御部２３は、畳み込み最終層の５１２チャンネルからなる特徴マップにおいて、最終出力層の最大出力値に対する勾配、つまり偏微分値を各特徴マップのピクセル単位で算出する。そして、制御部２３は、ピクセル単位の勾配の平均値を算出し、その平均値を特徴マップの各ピクセルに乗算した５１２チャンネル分の活性化マップを作成する。ここで示す特徴マップのチャンネル数は一例であって、５１２チャンネル以外のチャンネル数であってもよい。そして、制御部２３は、作成した活性化マップを全チャンネルワイズに積算し、積算した活性要素を０～１の値にスケーリングして二次元の活性化マップ、つまりヒートマップを生成する。そして、制御部２３は、ヒートマップのサイズを、評価用顔画像サイズにリサイズして、評価用顔画像に対応するヒートマップ画像を作成する。また、制御部２３は、ヒートマップ画像を評価用顔画像と足し合わせ、０～２５５の階調値でスケーリングして、評価用顔画像にヒートマップが重畳された表示用画像を生成してもよい。評価用顔画像にヒートマップを重畳することで、表示用顔画像において特徴部分が任意に設定される所定の色の分布で表示される。なお、制御部２３は、ヒートマップのサイズをスケーリングする際、任意に設定される閾値により異常値を排除し、ヒートマップのノイズを除去してもよい。

【0035】

ステップＳ５０８において、制御部２３は、印象評価と特徴部分とに基づいて推奨化粧品を選定する。評価値が小さいほど良好な印象評価に対応するので、比較的低い評価値に寄与した特徴部分は良好な印象に寄与している部分を示し、比較的高い評価値に寄与した特徴部分は、非良好な印象に寄与している部分を示すと考えられる。よって、制御部２３は、印象評価と特徴部分とに基づいて非良好な印象に寄与している顔の部分を特定し、その部分の特性に応じ、印象評価を改善するための推奨化粧品を選定する。そして、制御部２３は、推奨化粧品情報の情報を、印象評価、特徴部分と共に出力する。

【0036】

ここで、ステップＳ５０８の具体例を、図６～図９を用いて説明する。図６は、ステップＳ５０８のサブルーチンを示すフローチャート図である。ここでは、印象の要素として活き活き感の度合いを例として、活き活き度に対する印象評価が１～７の７段階の評価値で表される場合の手順が示される。

【0037】

ステップＳ６００において、制御部２３は、活き活き度の評価値が基準値３以上かを判断する。評価値が３以上の場合（Ｙｅｓ）には制御部２３はステップＳ６０２に進む。一方、評価値が３未満の場合（Ｎｏ）には、制御部２３はステップＳ６０４に進み、活き活き度の評価値が“活き活き度「十分」群”に属すると判定する。なお、基準値は適宜調整が可能であり、３以外であってもよい。

【0038】

ステップＳ６０２において、制御部２３は、活き活き度の評価値が顧客の年代平均より高いかを判断する。制御部２３は、ステップＳ５００で受け付けた顧客情報に含まれる顧客の年齢を、記憶部２２に格納した基準情報２６に含まれる判断基準と比較する。例えば、基準情報２６には、印象評価に対する判断基準として、学習顔画像の被写体となった人物の、年代毎の評価値の平均が格納されており、評価値との比較に用いられる。

【0039】

図７Ａは、基準情報２６を模式的に示す。ここには、活き活き度における１０代～７０代の各年代の評価値の平均が示される。基準情報２６は、活き活き感のほかにも、印象の要素毎に、評価値の年代平均を含む。なお、基準情報２６が含む判断基準は、年代別の平均以外であってもよく、例えば、中央値であってもよい。また、図７Ｂの年代方向における評価値の分布図に示すように、同じ評価値であっても複数の年代にまたがる傾向を有する。別言すれば、例えば肌年齢のように人物の年齢と強い相関を有するような特徴と比べ、年齢との相関が低い要素が印象評価に大きく寄与する傾向が認められる。

【0040】

図６に戻り、評価値が年代平均より高い場合（ステップＳ６０２のＹｅｓ）、つまり印象評価が年代平均より良好でない場合には制御部２３はステップＳ６０６に進み、活き活き度の評価値が“活き活き度「要改善」群”に属すると判定する。評価値が年代平均以下の場合（ステップＳ６０２のＮｏ）、つまり印象評価が年代平均並みかそれより良好な場合には制御部２３はステップＳ６０８に進み、活き活き度の評価値が“活き活き度「やや不足」群”に属すると判定する。

【0041】

ステップＳ６０４、Ｓ６０６、又はＳ６０８において評価値の帰属を判定すると、制御部２３は、ステップＳ６１０において、評価値に寄与した特徴部分と、その寄与度を算出する。例えば、制御部２３は、評価用画像を任意の数の領域に分割する。例えば、図８Ａには、評価用顔画像８０における額領域８０Ａ、目元領域８０Ｂ、頬領域８０Ｃ、及び口元領域８０Ｄの４つの領域の例が示される。制御部２３は、各領域において、その領域の面積（例えばピクセル数）に対するヒートマップの活性要素の総和をその領域の特徴活性度として算出する。ここにおいて、０～１．０に分布する特徴活性度の値が、寄与度として算出される。そして、制御部２３は、特徴部分をヒートマップにおける色分けされた領域として、寄与度を色分けされた領域の面積として表示する表示用画像を生成し、表示用画像を出力する。表示用画像は、通信部２１により端末装置１１へ送られ、端末装置１１にて表示される。

【0042】

図８Ｂ～８Ｄは、情報処理装置１２の制御部２３にて生成されて端末装置１１にて表示される表示用画像の例を模式的に示す。図８Ｂ、８Ｃ及び８Ｄは、それぞれ、活き活き度の評価値「２」、「３」及び「６」の場合の例を示す。ここでは、評価値の年代平均が「３」と「６」の間にあるものとし、図８Ｂの例が“活き活き度「十分」群”に、図８Ｃの例が“活き活き度「やや不足」群”に、図８Ｄの例が“活き活き度「要改善」群”に対応する。図８Ｂでは、評価用顔画像８０において頬領域８０Ｃにおいて広範にわたる特徴部分８２が示される。すなわち、頬領域８０Ｃにおける特徴が良好な（評価値「２」の）活き活き度に高い寄与度で寄与していることが示される。また、図８Ｃでは、評価用顔画像８０において、額領域８０Ａと口元領域８０Ｄに特徴部分８３が示される。すなわち、額領域８０Ａと口元領域８０Ｄにおける特徴部分８３が中程度の（評価値「３」の）活き活き度に高い寄与度で寄与していることが示される。そして、図８Ｄでは、評価用顔画像８０において、額領域８０Ａ、頬領域８０Ｃ、及び口元領域８０Ｄに特徴部分８４が示される。すなわち、額領域８０Ａ、頬領域８０Ｃ、及び口元領域８０Ｄにおける特徴部分８４が非良好な（評価値「６」の）活き活き度に高い寄与度で寄与していることが示される。

【0043】

図６に戻り、ステップＳ６１２、Ｓ６１４及びＳ６１６において、制御部２３は、評価と特徴部分、及び特徴部分の寄与度に基づいて、非良好な印象に寄与している顔の領域を特定し、その部分の特性に応じ、印象評価を改善するための推奨化粧品を選定する。活き活き度の評価値が“活き活き度「十分」群”に属する場合（ステップＳ６０４）、制御部２３は、ステップＳ６１２において、特徴部分の寄与度が最も高い領域を“優良領域”と判定する。例えば、図８Ｂで示した例では、頬領域８０Ｃが優良領域と判定される。また、活き活き度の評価値が“活き活き度「やや不足」群”に属する場合（ステップＳ６０８）、制御部２３は、ステップＳ６１４において、特徴部分の寄与度が高い領域を“優良領域”と判定するとともに、特徴部分の寄与度が低い領域を“やや不足領域”と判定する。例えば、図８Ｃで示した例では、口元領域８０Ｄが“優良領域”と判定され、額領域８０Ｂ及び８０Ｃが“やや不足領域”と判定される。例えば、制御部２３は、特徴部分の特徴活性度に応じて、“優良領域”、“やや不足領域”の別を判定する。例えば、特徴活性度が０～０．３の場合に“やや不足領域”、０．７～１．０の場合に“優良領域”と判定することが可能である。特徴活性度に応じた判定の種類は３以上であってもよく、判定の基準となる数値範囲は任意に定めることができる。そして、活き活き度の評価値が“活き活き度「要改善」群”に属する場合（ステップＳ６０６）、制御部２３は、ステップＳ６１６において、特徴部分の寄与度が最も高い領域を“要改善領域”と判定する。例えば、図８Ｄで示した例では、額領域８０Ａが要改善領域と判定される。

【0044】

ステップＳ６１８において、制御部２３は、要改善領域とやや不足領域とについて、推奨情報２５を参照して推奨化粧品を選定し、選定した推奨化粧品の情報を表示する。

【0045】

図９は、活き活き感を改善するための推奨化粧品の情報を含む推奨情報２５の例を模式的に示す。推奨情報２５は、印象の要素毎に図９に示すような情報を有する。制御部２３は、推奨情報２５を参照して、“やや不足領域”（評価値が３．０以上年代平均未満）又は“要改善領域”（評価値が年代平均以上、７．０以下）についての推奨化粧品を選定する。例えば、額領域８０Ａが“やや不足領域”と判定された場合には、額領域８０Ａに対するスキンケアのために、眉間額のシワ改善スキンケア用の化粧品が選定される。また、額領域８０Ａが“要改善領域”と判定された場合には、額領域８０Ａに対するメイクアップのために、こめかみへのハイライト用の化粧品が選定される。さらに、目元領域８０Ｂが“やや不足領域”と判定された場合には、目元領域８０Ｂに対するメイクアップのために、目元を強調するアイメイク用の化粧品が選定される。さらに、目元領域８０Ｂが“要改善領域”と判定された場合には、目元領域８０Ｂに対するメイクアップのために、目元を整えるアイブロウ用の化粧品が選定される。さらに、頬領域８０Ｃが“やや不足領域”と判定された場合には、頬領域８０Ｃに対するメイクアップのために、頬部へのチークカラー用の化粧品が選定される。さらに、頬領域８０Ｃが“要改善領域”と判定された場合には、頬領域８０Ｃに対するスキンケアのために、頬部のタルミ改善スキンケア用の化粧品が選定される。さらに、口元領域８０Ｄが“やや不足領域”と判定された場合には、口元領域８０Ｄに対するスキンケアのために、唇まわりのタルミ改善スキンケア用の化粧品が選定される。そして、口元領域８０Ｄが“要改善領域”と判定された場合には、口元領域８０Ｄに対するスキンケアのために、顎まわりのタルミ改善スキンケア用の化粧品が選定される。このようにして選定された化粧品の情報は、通信部２１により端末装置１１へ送られ、端末装置１１にて表示される。

【0046】

端末装置１１では、例えば、活き活き感について、十分である、やや不足又は要改善といった判定結果とともに、判定結果に寄与した特徴部分を示す表示用画像が表示され、更に、スキンケア又はメイクアップについて推奨化粧品の情報が表示される。推奨化粧品の情報は、化粧品の種別であってもよいし、具体的な化粧品名であってもよい。

【0047】

図６～図９では、活き活き感についての印象評価を例として説明したが、他の印象の要素、つまり、親しみやすさ、若々しさ、かわいらしさ、明るさ、社交的なといった印象の要素についても、上記同様の手順が実行される。

【0048】

本実施形態によれば、非定量的な印象の要素についても熟練評価者の客観的な印象評価を高い精度で再現することができる。また、印象評価に寄与した特徴部分を表示により可視化でき、顧客において印象評価に対する納得感を向上させることが可能となる。さらに、熟練評価者の印象評価を再現する情報処理装置１２は、未熟練の評価者による印象評価の訓練に用いることができる。

【0049】

上述の説明では、情報処理装置１２は、端末装置１１を介して顔画像の取得、各種出力情報の表示を行うが、情報処理装置１２の動作として示した情報処理手順を適宜情報処理装置１２及び端末装置１１で分担してもよい。その場合、情報処理装置１２と端末装置１１とで「情報処理装置」を構成する。例えば、図４で示した機械学習手順を情報処理装置１２が実行して印象評価モデル２４を作成し、端末装置１１が情報処理装置１２の印象評価モデル２４を用いながら図５で示した手順を実行してもよい。あるいは、例えば、情報処理装置１２がスタンドアロンで動作して、入出力部２０により顔画像の取得、各種出力情報の表示を行ってもよい。また、端末装置１１が店舗に設置されていなくても、例えば、顧客が使用するスマートフォンであってもよい。その場合、顧客は自らの顔を撮像し、顔画像を情報処理装置１２へ送る。そして、情報処理装置１２からの情報をスマートフォンが受け取って顧客に向けて表示する。そうすることで、例えば、顧客が店舗に赴かなくても、推奨化粧品の情報を取得することが可能となる。

【0050】

また、上述の説明では、情報処理装置１２は、印象評価モデル２４の生成を一回的に実行した後、顧客の印象評価を実行するが、顧客の同意のもと、評価用撮像画像を教師データに取り込み、情報処理装置１２又は情報処理装置１２と情報通信可能な端末装置により熟練評価者が印象評価を付与することで、教師データを随時更新することが可能である。

【0051】

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

【符号の説明】

【0052】

１ 情報処理システム
１０ ネットワーク
１１ 端末装置
１２ 情報処理装置
２０、３０ 入出力部
２１、３１ 通信部
２２、３２ 記憶部
２３、３３ 制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8A】

【図8B】

【図8C】

【図8D】

【図9】