特開 2022-91641 情報処理装置、プログラム、及び情報処理装置の動作方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022091641

(43)【公開日】2022-06-21

(54)【発明の名称】情報処理装置、プログラム、及び情報処理装置の動作方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220614BHJP

   G06Q 50/10 20120101ALI20220614BHJP

   G06Q 10/04 20120101ALI20220614BHJP

   A61B 5/00 20060101ALI20220614BHJP

   A45D 44/00 20060101ALI20220614BHJP

【ＦＩ】

G06T7/00 660A

G06T7/00 350B

G06Q50/10

G06Q10/04

A61B5/00 M

A45D44/00 A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2020204623

(22)【出願日】2020-12-09

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＺＩＧＢＥＥ

２．ＦｅｌｉＣａ

３．ＡｉｒＤｒｏｐ

(71)【出願人】

【識別番号】000145862

【氏名又は名称】株式会社コーセー

(72)【発明者】

【氏名】末松 健

(72)【発明者】

【氏名】中村 理恵

【テーマコード（参考）】

4C117

5L049

5L096

【Ｆターム（参考）】

4C117XB13

4C117XD05

4C117XF03

4C117XG03

4C117XH16

4C117XJ01

4C117XJ18

4C117XJ38

4C117XK05

4C117XK13

4C117XK15

4C117XL01

4C117XL08

4C117XM02

4C117XM03

4C117XP03

5L049AA04

5L049CC11

5L096DA04

5L096GA41

5L096JA11

5L096JA18

5L096KA04

(57)【要約】      （修正有）

【課題】人の年代推定予測の寄与が大きい領域の特定、色情報の影響度を示し、これを基にした化粧品のカウンセリングを実施するための情報処理装置、プログラム及び情報処理装置の動作方法を提供する。
【解決手段】端末装置と情報処理装置とが、ネットワークを介するか又はネットワークを介さずに有線又は近距離無線通信等によりピアツーピアで互いに接続して情報を送受信する情報処理システムにおいて、情報処理装置１２は、人物の顔画像と顔画像に対する年齢予測値を教師データとして年齢予測値に寄与する前記顔画像の顔下半分の特徴部分と年齢予測値の対応付けを機械学習した機械学習モデルを格納する記憶部２２と、入力された顔画像の特徴部分と当該特徴部分に関する色情報を、前記モデルを用いて求めて出力する制御部２３と、を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

人物の顔画像と前記顔画像の人物の実年齢教師データとして前記年齢予測値に寄与する前記顔画像の顔下半分の特徴部分と前記年齢予測値の対応付けを機械学習した機械学習モデルを格納する記憶部と、
入力された顔画像の特徴部分と当該特徴部分に関する色情報を、前記モデルを用いて求めて出力する制御部と、
を有する情報処理装置。

【請求項2】

請求項１において、
前記記憶部は、前記モデルにおいて対応付けられる前記特徴部分と前記色情報の組み合わせに対し推奨すべき化粧品を示す推奨情報を更に格納し、
前記制御部は、前記モデルを用いて求めた特徴部分と色情報の組み合わせに対し推奨すべき化粧品を前記推奨情報に基づいて選定し、選定した化粧品を示す情報を更に出力する、
情報処理装置。

【請求項3】

請求項１又は２において、
前記色情報は、ａ＊値、ｂ＊値、グレースケール値である情報処理装置。

【請求項4】

請求項１～３のいずれかにおいて、
前記特徴部分をヒートマップとして出力する情報処理装置。

【請求項5】

請求項１～４のいずれかにおいて顔画像の特徴部分を
出力される予測年齢値とマスク処理前の予測年齢値に対する変化割合を２ｎ×２ｎ（ｎは任意の整数）箇所で行う情報処理装置。

【請求項6】

コンピュータにより実行されることで、当該コンピュータに請求項１～５のいずれかに記載の情報処理装置として動作させる、
プログラム。

【請求項7】

人物の顔画像と前記顔画像に対する年齢予測値を教師データとして前記年齢予測値に寄与する前記顔画像の特徴部分と前記年齢予測値の対応付けを機械学習したモデルを作成する第1の工程と、
入力された顔画像の特徴部分と当該特徴部分に関する色情報を、前記モデルを用いて求めて出力する出力する第２の工程と、
を有する情報処理装置の動作方法。

【請求項8】

請求項７において、
前記モデルにおいて対応付けられる前記特徴部分と前記色情報の組み合わせに対し推奨すべき化粧品を示す推奨情報を参照し、前記モデルを用いて求めた特徴部分と色情報の組み合わせに対し推奨すべき化粧品を選定する第３の工程と、
選定した化粧品を示す情報を更に出力する第４の工程と、
を更に有する情報処理装置の動作方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、プログラム、及び情報処理装置の動作方法及びに関する。

【背景技術】

【0002】

従来から、自身の顔から判断される他人から見られる自身の年齢予測値についての関心は高く、その評価方法について様々な検討がされてきた。例えば、専任技術者の目視評価、ＡＩによる顔画像か肌年齢を推定する判断手法（特許文献１）などが提案されてている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２０１９－５１２７９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

他人からの年齢予測値の判断には、顔の下半分、特に口周りが影響をおよぼす可能性が高いことが知られている。例えば、ほうれい線やマリオネットラインなどのシワの表出、頬部のたるみの目立ち、口唇部における赤唇部がくすみ等が影響要因と考えられている。専任技術者の目視評価や、デジタル画像を用いた画像処理技術を用いて定量的に評価できる技術が確立されてきたが、 口元の 加齢変化 は 多様であるだけでなく、個人間差も大きく年代ごとの加齢変化に共通する特徴や、また個人ごとに異なる特徴の中で、どの特徴が最も影響を及ぼしているのかを客観的に定義することは未だ難しい課題である。

【0005】

さらに、今日の新型コロナウィルス感染症がもたらしたマスク着用の習慣化により、顔の下半分、特に口元を見られる機会は減ったが、口周りの活動量は著しく低下し、口元老化の進行を加速させることが懸念される。よって、年齢予測値予測に影響をおよぼす顔の領域及び年齢を低くすることに寄与する色情報を特定する技術、さらにその情報を基にした化粧品のカウンセリング技術が求められている。

【課題を解決するための手段】

【0006】

そこで本発明者らは鋭意検討の結果、以下の技術を見出した。
本開示における情報処理装置は、人物の顔画像と前記顔画像に対する年齢予測値を教師データとして前記年齢予測値に寄与する前記顔画像の顔下半分の特徴部分と前記年齢予測値の対応付けを機械学習した機械学習モデル１及び前記特徴部分の色情報により前記年齢予測値の影響度を機械学習した機械学習モデル２を格納する記憶部と、
入力された顔画像の特徴部分と当該特徴部分に関する色情報を、前記モデルを用いて求めて出力する制御部と、を有する。

【0007】

また、本開示における情報処理装置の動作方法は、人物の顔画像と前記顔画像に対する年齢予測値を教師データとして前記年齢予測値に寄与する前記顔画像の特徴部分と前記年齢予測値の対応付けを機械学習したモデルを作成する第1の工程と、
前記特徴部分の色情報により影響度を機械学習した機械学習モデルを作成する第２の工程と、
入力された顔画像の特徴部分と当該特徴部分に関する色情報を、前記モデルを用いて求めて出力する出力する第３の工程と、を有する。

【発明の効果】

【0008】

本開示における情報処理装置等によれば、人の年代推定予測の寄与が大きい領域の特定でき、さらに特定された領域における色情報の影響度を表すことができ、客観性と正確性を備えた推定年齢の算出が可能となる。また、これらの情報を基にした化粧品のカウンセリングも可能となる。

【図面の簡単な説明】

【0009】

【図1】情報処理システムの構成例を示す図である。

【図2】情報処理装置の構成例を示す図である。

【図3】端末装置の構成例を示す図である。

【図4】情報処理装置による動作例を示すフローチャート図である。

【図5】情報処理装置による動作例を示すフローチャート図である。

【図6A】画像を１６分割した口元画像の一例である。

【図6B】画像を１６分割した一部をマスク処理した口元画像の一例である

【発明を実施するための形態】

【0010】

以下、本発明の実施の形態について説明する。

【0011】

図１は、一実施形態における情報処理装置の構成例を示す図である。情報処理システム１は、例えば化粧品の販売店舗において、来店した顧客に対する販売員による美容手段のカウンセリングを支援する。情報処理システム１は、端末装置１１及び情報処理装置１２を有する。端末装置１１及び情報処理装置１２は、ネットワーク１０を介し、又はネットワーク１０を介さずに有線又は近距離無線通信等によりピアツーピアで互いに接続され、情報を送受信する。ネットワーク１０は、インターネット、少なくとも１つのＷＡＮ（wide area network）、少なくとも１つのＭＡＮ（metropolitan area network）、又はこれらの任意の組合せを含む。ネットワーク１０は、少なくとも１つの無線ネットワーク、少なくとも１つの光ネットワーク、又はこれらの任意の組合せを含んでもよい。無線ネットワークは、例えば、アドホックネットワーク、セルラーネットワーク、無線ＬＡＮ（local area network）、衛星通信ネットワーク、又は地上マイクロ波ネットワークである。端末装置１１は、化粧品の販売員が使用する、例えば、タブレット端末、スマートフォンといった、撮像機能を備えた情報処理端末装置である。情報処理装置１２は、例えば、クラウドコンピューティングシステム又はその他のコンピューティングシステムに属するサーバ等のコンピュータである。

【0012】

情報処理装置１２は、人物の顔を撮像して得られる顔画像から頬骨を基準として上下に顔画像を分割した際の下半分の画像(以下、口元画像という)と、口元画像に対する人物の実年齢とを教師データとして、年齢予測に寄与する顔画像の特徴部分と年齢予測の対応付けを予め機械学習モデル（以下、年齢予測値モデルという）を格納する。
販売店舗においては、店舗に配置される販売部員が、来店した顧客の顔を端末装置１１により撮像する。情報処理装置１２は、端末装置１１から顧客の顔画像の入力を受け、入力された顔画像から口元画像を取得し、口元画像の特徴部分と、予測される年齢予測値とを、年齢予測モデルを用いて求め、求めた年齢予測値を端末装置１１へ出力する。販売員は、端末装置１１により年齢予測値と年齢予測値に寄与する画像の領域、前記領域の年齢予測値の増減への寄与を示すヒートマップ、前記領域において予億年齢値を低くすることに寄与する色情報の変化のいずれかを表示等により出力し、顧客に提示する。前記顧客への提示は顧客において年齢予測値に対する納得感を向上させることが可能となる。

【0013】

また、情報処理装置１２は、前記顧客への提示に対し推奨すべき化粧品を示す推奨情報を更に格納する。例えば、たるみ改善スキンケア用の化粧品、シミを肌色と均一にするメイク化粧品、若々しい印象を向上させるために必要な効果と商品群情報などが推奨情報とすることができる。そして、情報処理装置１２は、ユーザに推奨すべき化粧品を推奨情報に基づいて選定し、選定した化粧品を示す情報を更に出力する。販売員は、情報処理装置１２が出力する情報を端末装置１１により受けて顧客に提示する。これにより、顧客に対し、顧客の老化現象を把握し、若々しい印象を向上させる化粧品の推奨が可能になる。

【0014】

図２は、情報処理装置１２の構成例を示す。情報処理装置１２は、例えば、各種機能を実装するサーバとして機能するサーバコンピュータである。情報処理装置１２は、互いに情報通信可能に接続されて連携動作する一以上のサーバコンピュータであってもよい。情報処理装置１２は、入出力部２０、通信部２１、記憶部２２、及び制御部２３を有する。

【0015】

入出力部２０は、ユーザの入力を検出し、入力情報を制御部２３に送る入力インターフェースを有する。入力インターフェースは、例えば、物理キー、静電容量キー、パネルディスプレイと一体的に設けられたタッチスクリーン、各種ポインティングデバイス等を含む任意の入力インターフェースである。また、入出力部２０は、制御部２３が生成したり記憶部２２から読み出したりする情報を、ユーザに対して出力する出力インターフェースを有する。かかる出力インターフェースは、例えば、情報を画像・映像として出力するディスプレイ、情報を音声として出力するスピーカ、または、外部の出力機器との接続インターフェースを含む、任意の出力インターフェースである。

【0016】

通信部２１は、ネットワーク１０に接続するための、１つ以上の有線または無線ＬＡＮ規格に対応する通信モジュールを有する。または、通信部２１は、端末装置１１とピアツーピアで接続するための、１つ以上の有線または無線規格に対応する通信モジュールを有してもよい。かかる通信モジュールは、Bluetooth（登録商標）、AirDrop、IrDA、ZigBee、Felica、RFID等の近距離通信に対応する通信モジュールを含んでもよい。

【0017】

記憶部２２は、１つ以上のメモリを含む。記憶部２２に含まれる各メモリは、例えば半導体メモリ、磁気メモリ、または光メモリ等であるが、これらに限られない。各メモリは、例えば主記憶装置、補助記憶装置、またはキャッシュメモリとして機能する。記憶部２２は、情報処理装置１２の動作に用いられる任意の情報、制御・処理プログラムを記憶する。記憶部２２は、ネットワーク１０その他のネットワークを介してダウンロードされる各種機能を提供するアプリケーションプログラム等を記憶してもよい。

【0018】

制御部２３は、１つ以上のプロセッサを有する。各プロセッサは、汎用のプロセッサ、または特定の処理に特化した専用のプロセッサであるが、これらに限られない。制御部２３は、記憶部２２に格納される制御・処理プログラムに従って情報処理装置１２の動作を統括的に制御する。

【0019】

情報処理装置１２では、記憶部２２は、制御部２３が後述する手順により作成する年齢予測値モデル２４を格納する。また、記憶部２２は、年齢予測値モデル２４において対応付けられる特徴部分と年齢予測値の組み合わせに対し推奨すべき化粧品の情報を含む推奨情報２５、年齢予測値に対する判断基準についての基準情報２６等を格納する。

【0020】

図３は、端末装置１１の構成例を示す。端末装置１１は、例えばタブレット端末、スマートフォンといった、情報処理端末装置である。端末装置１１は、入出力部３０、通信部３１、記憶部３２、及び制御部３３を有する。

【0021】

入出力部３０は、ユーザの入力を検出し、入力情報を制御部３３に送る入力インターフェースを有する。かかる入力インターフェースは、例えば、物理キー、静電容量キー、パネルディスプレイと一体的に設けられたタッチスクリーン、各種ポインティングデバイス、音声入力を受け付けるマイクロフォン、撮像画像または画像コードを取り込むカメラ等を含む任意の入力インターフェースである。また、入出力部３０は、制御部３３が生成したり記憶部３２から読み出したりする情報を、ユーザに対して出力する出力インターフェースを有する。かかる出力インターフェースは、例えば、情報を画像・映像として出力するディスプレイ、情報を音声として出力するスピーカ、または、外部の出力機器との接続インターフェースを含む、任意の出力インターフェースである。

【0022】

通信部３１は、有線または無線ＬＡＮ規格に対応する通信モジュール、４Ｇ（4th Generation）、５Ｇ（5th Generation）等の移動体通信規格に対応するモジュール、Bluetooth（登録商標）、AirDrop、IrDA、ZigBee、Felica、RFID等の近距離通信に対応する通信モジュール等を含む。端末装置１１は、通信部３１により、ネットワーク１０経由で又はピアツーピアで、情報処理装置１２と情報通信を行う。

【0023】

記憶部３２は、一つ以上のメモリを含む。記憶部３２に含まれる各メモリは、例えば半導体メモリ、磁気メモリ、または光メモリ等であるが、これらに限られない。各メモリは、例えば主記憶装置、補助記憶装置、またはキャッシュメモリとして機能する。記憶部３２は、端末装置１１の動作に用いられる任意の情報を記憶する。例えば、記憶部３２は、制御・処理プログラム、組込みソフトウェア、ネットワーク１０その他のネットワークを介してダウンロードされる各種機能を提供するアプリケーションプログラム等を記憶する。

【0024】

制御部３３は、一つ以上のプロセッサを有する。各プロセッサは、汎用のプロセッサ、または特定の処理に特化した専用のプロセッサであるが、これらに限られない。制御部３３は、記憶部３２に格納される制御・処理プログラムに従って動作することで、端末装置１１の動作を統括的に制御する。

【0025】

端末装置１１では、制御部３３が、入出力部３０への販売員による操作入力に応答して、入出力部３０のカメラに顧客の顔を撮像させ、撮像により得られる顔画像を、通信部３１を介して情報処理装置１２へ送る。また、制御部３３は、情報処理装置１２から送られる情報を、通信部３１を介して受けて入出力部３０のディスプレイにより表示する。

【0026】

図４は、情報処理装置１２が機械学習により年齢予測値モデル２４を作成するときの、情報処理装置１２の動作手順例を示すフローチャート図である。このフローチャート図は、制御部２３による情報処理手順に対応する。

【0027】

ステップＳ４００において、制御部２３は、教師データを読み込んで記憶部２２に格納する。教師データは、人物の顔をデジタルカメラで撮像して得られた顔画像と、画像の人物の実年齢を有する。以下、教師データに含まれる顔画像は顔の下半分の画像として個人の頬骨を目安に画像を上下に分割した下半分の画像(以下、口元画像という)であり、学習用顔画像という。まず、学習用顔画像は、例えば、２０代～７０代に略均一に分布する数百人の日本人女性の顔を正面方向から撮像して得られる。各人物は、ヘアネットを用いて髪型を統一し、化粧をしていない状態で、真顔で撮像したものから、口元画像を作成する。例えば、ＯｐｅｎＣＶなどのようなオープンソースライブラリの使用、またはデバイス上でバウンディングボックスの頂点を指定し顔部位を抽出してもよいが、これらに限定されない。

【0028】

ステップＳ４０２において、制御部２３は、各学習用顔画像に対し、機械学習の前段階としての画像処理を行う。画像処理は、例えば、学習用顔画像の正規化、学習用顔画像からの顔部位の抽出、ランダムクロップ、水平・垂直方向へのランダムフリップ、ランダム回転、ランダムな彩度調整、垂直方向のドロップアウト等を含む。顔部位の抽出では、学習用顔画像内の髪、首等の部位の影響を排除するために任意のオープンソースライブラリを使用して顔部位を抽出したり、バウンディングボックスの頂点をオペレータが指定して顔部位を抽出したりすることが可能である。また、ランダムクロップでは、一例として、５１２×５１２ピクセルの学習用顔画像を２５６×２５６ピクセルにリサイズした後、２２４×２２４ピクセルでランダムクロップが行われる。

【0029】

ステップＳ４０４において、制御部２３は、教師データを用いた機械学習により年齢予測値モデル２４を作成する。制御部２３は、例えば、畳み込みニューラルネットワークを用いて機械学習を行う。制御部２３は、例えば、畳み込み層とプーリング層で学習用顔画像における特徴部分を抽出し、抽出した特徴部分を多層ニューラルネットワークで年齢予測値と照合することで、学習用顔画像に付与された年齢予測値に寄与する特徴部分と年齢予測値とを対応付けて学習し、年齢予測値モデル２４を作成する。
次に、図６Ｂのように一部分にマスク処理を行った口元画像を教師学習モデル１へ入力し、出力される予測年齢値とマスク処理前の予測年齢値に対する変化割合を算出する。この予測年齢は、幅を持たせた年齢域としてもよい。そして、この変化割合が高い領域が年代予測に寄与する領域として認定される。

【0030】

図５は、情報処理装置１２が、年齢予測値モデル２４を用いて顧客の顔画像の年齢予測値を行うときの、情報処理装置１２の動作手順例を示すフローチャート図である。このフローチャート図は、制御部２３による情報処理手順に対応する。

【0031】

ステップＳ５００において、制御部２３は、顔画像、顧客情報の入力を受け付ける。例えば、店舗において販売員が来店した顧客の顔を端末装置１１で撮像し、端末装置１１に顧客の年齢、性別、その他の顧客情報を入力する。端末装置１１は、撮像画像及び顧客情報を情報処理装置１２へ送る。情報処理装置１２では、制御部２３が、通信部２１を介して撮像画像及び顧客情報を受け付ける。顔画像と顧客情報は記憶部２２に格納される。以下、制御部２３が入力を受け付けて年齢予測値を求める顔画像を、評価用顔画像という。

【0032】

ステップＳ５０２において、制御部２３は、評価用顔画像に対し、年齢予測値を求める前段階としての画像処理を行う。画像処理は、評価用顔画像の正規化、評価用顔画像からの顔部位の抽出、ランダムクロップ、水平・垂直方向へのランダムフリップ、ランダム回転、ランダムな彩度調整、垂直方向のドロップアウト等を含み、ＯｐｅｎＣＶ等を使用し口元画像を作成する。

【0033】

ステップＳ５０４において、制御部２３は、年齢予測値モデル２４を用いて、評価用顔画像の年齢予測値を求める。制御部２３は、年齢予測値モデル２４の最終層出力における最大値に対応する評価値のクラスを、年齢予測値として求める。評価値は年代別に１～９の離散値で付される。

【0034】

ステップＳ５０６において、制御部２３は、年齢予測値に寄与する特徴部分を求める。口元画像を複数の分析領域に分け、分析領域から1か所ずつ選択し、輝度値1で初期化を行い（以下、マスク処理という。）、口元画像にオクルージョン領域を作成する。口元画像を輝度値が1の真っ白な状態に処理することで、それぞれの領域が有する情報が全て削除され各領域の年齢予測への影響を検討することが出来る。オクルージョン領域は、例えば、図６Ａでは領域数を１６に設定しているが、小さいと機械学習モデルの出力変化が微小となり、大きすぎると分析領域に複数の情報が含まれ解釈が困難となる。一部分にマスク処理を行った口元画像を入力し、出力される予測年齢値とマスク処理前の予測年齢値に対する変化割合を算出する。この予測年齢は、幅を持たせた年齢域としてもよい。顔が左右対称であることを考慮し領域数は４、８、１６、等の２ｎ×２ｎ（ｎは任意の整数）であるとが好ましい。そして、この変化割合が高い領域が年代予測に寄与する特徴部分として認定される。
また、制御部２３は、予測年齢値を低くすることに寄与する色情報を求める。前記特徴部分のａ＊値、ｂ＊値、グレースケールのオクルージョン処理を行う。ａ値はＬ＊ａ＊ｂ色空間における補色次元の一つであるaに該当する値である。
特徴部分に対してＲＧＢ色情報をＬ＊ａ＊ｂ色情報へ変換しa値を０に、そしてＲＧＢ色情報へ再度変換することで領域内のa＊値の色情報のみが無くなり、各領域に対してa＊値を０としたオクルージョン処理によるa＊値の年齢予測への影響を検討することが出来る。また、ｂ＊値はＬ＊ａ＊ｂ色空間における補色次元の一つであるbに該当する値である。特徴部分に対してＲＧＢ色情報をＬ＊ａ＊ｂ色情報へ変換しｂ＊値を０に、そしてＲＧＢ色情報へ再度変換することで領域内のｂ＊値の色情報のみが無くなり、各領域に対してｂ＊値値を０としたオクルージョン処理によるｂ＊値の年齢予測への影響を検討することが出来る。さらに、グレースケールはコンピュータ上及び写真での色の表現方法の一種であり、光度以外の情報が含まれないことを表すため特徴部分に対しグレースケール処理、つまり白黒画像となるように画像を処理することで、各領域内の色情報が無くなり形状のみの情報が残るため、各領域ごとの色情報の年齢予測への影響を検討することが出来る。

【0035】

ステップＳ５０６において、制御部２３は、年齢予測値モデル２４を用いて、評価用顔画像の年齢予測値に寄与する特徴部分を視覚化してもよい。、例えば、ヒートマップとして表される。制御部２３は、特徴部分を示すヒートマップを、畳み込みニューラルネットワークを介して作成する。制御部２３は、最終出力層における出力の最大値を、シグモイド関数、ソフトマックス関数といった活性化関数を用いて、０～１の数値による確率的表現に変換する。制御部２３は、畳み込み最終層の５１２チャンネルからなる特徴マップにおいて、最終出力層の最大出力値に対する勾配、つまり偏微分値を各特徴マップのピクセル単位で算出する。そして、制御部２３は、ピクセル単位の勾配の平均値を算出し、その平均値を特徴マップの各ピクセルに乗算した５１２チャンネル分の活性化マップを作成する。ここで示す特徴マップのチャンネル数は一例であって、５１２チャンネル以外のチャンネル数であってもよい。そして、制御部２３は、作成した活性化マップを全チャンネルワイズに積算し、積算した活性要素を０～１の値にスケーリングして二次元の活性化マップ、つまりヒートマップを生成する。そして、制御部２３は、ヒートマップのサイズを、評価用顔画像サイズにリサイズして、評価用顔画像に対応するヒートマップ画像を作成する。また、制御部２３は、ヒートマップ画像を評価用顔画像と足し合わせ、０～２５５の階調値でスケーリングして、評価用顔画像にヒートマップが重畳された表示用画像を生成してもよい。評価用顔画像にヒートマップを重畳することで、表示用顔画像において特徴部分が任意に設定される所定の色の分布で表示される。なお、制御部２３は、ヒートマップのサイズをスケーリングする際、任意に設定される閾値により異常値を排除し、ヒートマップのノイズを除去してもよい。

【0036】

ステップＳ５０８において、制御部２３は、年齢予測値、特徴部分及び色情報に基づいて推奨化粧品を選定する。特徴部分に対応した化粧品として、例えば、特徴部が頬領域の場合には、頬領域に対するスキンケアのために頬部のタルミ改善スキンケア用の化粧品が選定される。口元領域の場合には、口元領域に対するスキンケアのために唇まわりのタルミ改善スキンケア用の化粧品が選定される。また、顎領域の場合には、顎まわりのタルミ改善スキンケア用の化粧品が選定される。また、年齢予測値を高くすることに色情報が大きく寄与すれば、a＊値の影響度が大きい場合は部分的に炎症が起きていることが想定されることから、部分的な赤みを抑えるような炎症を改善する抗炎症剤を含むスキンケア化粧品、ｂ＊値の影響度が大きい場合は部分的なくすみが生じていることが想定されることからくすみを改善する美白化粧品が選定される。

【0037】

本実施形態によれば、客観的な年齢予測値を高い精度で再現することができる。また、年齢予測値に寄与した特徴部分を表示により可視化でき、顧客において年齢予測値に対する納得感を向上させることが可能となる。

【0038】

上述の説明では、情報処理装置１２は、端末装置１１を介して顔画像の取得、各種出力情報の表示を行うが、情報処理装置１２の動作として示した情報処理手順を適宜情報処理装置１２及び端末装置１１で分担してもよい。その場合、情報処理装置１２と端末装置１１とで「情報処理装置」を構成する。例えば、図４で示した機械学習手順を情報処理装置１２が実行して年齢予測値モデル２４を作成し、端末装置１１が情報処理装置１２の年齢予測値モデル２４を用いながら図５で示した手順を実行してもよい。あるいは、例えば、情報処理装置１２がスタンドアロンで動作して、入出力部２０により顔画像の取得、各種出力情報の表示を行ってもよい。また、端末装置１１が店舗に設置されていなくても、例えば、顧客が使用するスマートフォンであってもよい。その場合、顧客は自らの顔を撮像し、顔画像を情報処理装置１２へ送る。そして、情報処理装置１２からの情報をスマートフォンが受け取って顧客に向けて表示する。そうすることで、例えば、顧客が店舗に赴かなくても、推奨化粧品の情報を取得することが可能となる。

【0039】

また、上述の説明では、情報処理装置１２は、年齢予測値モデル２４の生成を一回的に実行した後、顧客の年齢予測値を実行するが、顧客の同意のもと、評価用撮像画像を教師データに取り込み、情報処理装置１２又は情報処理装置１２と情報通信可能な端末装置により熟練評価者が年齢予測値を付与することで、教師データを随時更新することが可能である。

【符号の説明】

【0040】

１ 情報処理システム
１０ ネットワーク
１１ 端末装置
１２ 情報処理装置
２０、３０ 入出力部
２１、３１ 通信部
２２、３２ 記憶部
２３、３３ 制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】