特開2022-33021顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のユーザーの顔に対する適合度合いを評価する方法、同適合度合いを評価するシステム、推奨システム及び眼鏡の設計システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022033021
(43)【公開日】2022-02-25
(54)【発明の名称】顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のユーザーの顔に対する適合度合いを評価する方法、同適合度合いを評価するシステム、推奨システム及び眼鏡の設計システム
(51)【国際特許分類】
G06T 7/00 20170101AFI20220217BHJP
G02C 13/00 20060101ALI20220217BHJP
【ＦＩ】
G06T7/00 660A
G02C13/00
G06T7/00 130
【審査請求】未請求
【請求項の数】29
【出願形態】ＯＬ
(21)【出願番号】P 2021131038
(22)【出願日】2021-08-11
(31)【優先権主張番号】P 2020136211
(32)【優先日】2020-08-12
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000219738
【氏名又は名称】東海光学株式会社
(74)【代理人】
【識別番号】100099047
【弁理士】
【氏名又は名称】柴田 淳一
(72)【発明者】
【氏名】水野 嶺
(72)【発明者】
【氏名】小崎 瑞貴
(72)【発明者】
【氏名】鈴木 雅也
(72)【発明者】
【氏名】竹本 典弘
【テーマコード（参考）】
2H006
5L096
【Ｆターム（参考）】
2H006DA03
5L096AA02
5L096AA06
5L096CA21
5L096DA01
5L096EA39
5L096EA43
5L096FA06
5L096FA34
5L096FA66
5L096FA67
5L096FA69
5L096GA30
5L096GA41
5L096GA55
5L096HA11
5L096KA04
5L096MA07
(57)【要約】
【課題】顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型について当該ユーザーの顔に対し何故よいのかをより客観的に説明でき、膨大なデータベースを作成する必要もなく、当該ユーザーの顔に対し適合する顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型等を選ぶことができる技術等を提供すること。
【解決手段】ユーザーの第１の顔画像と、評価したい装飾品、日用品、化粧及び髪型の少なくとも１つの画像を第１の顔画像に合成した第２の顔画像について、顔画像評価器で評価することで第１の顔画像の評価値としての第１の評価値と第２の顔画像の評価値として第２の評価値を算出し、第１の評価値と第２の評価値とからユーザーの顔に対する適合度合いを算出する。
【選択図】図６
【解決手段】ユーザーの第１の顔画像と、評価したい装飾品、日用品、化粧及び髪型の少なくとも１つの画像を第１の顔画像に合成した第２の顔画像について、顔画像評価器で評価することで第１の顔画像の評価値としての第１の評価値と第２の顔画像の評価値として第２の評価値を算出し、第１の評価値と第２の評価値とからユーザーの顔に対する適合度合いを算出する。
【選択図】図６
【特許請求の範囲】
【請求項1】
ユーザーの顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型の前記ユーザーの顔に対する適合度合いを評価する方法であって、
前記ユーザーの第１の顔画像と、評価したい前記装飾品、前記日用品、前記化粧及び前記髪型の少なくとも１つの画像を前記第１の顔画像に合成した第２の顔画像について、
顔画像評価器で評価することで前記第１の顔画像の評価値としての第１の評価値と前記第２の顔画像の評価値として第２の評価値を算出し、
前記第１の評価値と前記第２の評価値とから前記ユーザーの顔に対する適合度合いを算出することを特徴とする顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のユーザーの顔に対する適合度合いを評価する方法。
前記ユーザーの第１の顔画像と、評価したい前記装飾品、前記日用品、前記化粧及び前記髪型の少なくとも１つの画像を前記第１の顔画像に合成した第２の顔画像について、
顔画像評価器で評価することで前記第１の顔画像の評価値としての第１の評価値と前記第２の顔画像の評価値として第２の評価値を算出し、
前記第１の評価値と前記第２の評価値とから前記ユーザーの顔に対する適合度合いを算出することを特徴とする顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のユーザーの顔に対する適合度合いを評価する方法。
【請求項2】
前記顔画像評価器は顔画像に基づいて感情を推定する感情識別器であることを特徴とする請求項１に記載の顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のユーザーの顔に対する適合度合いを評価する方法。
【請求項3】
前記感情識別器で推定する感情の少なくとも１つは、喜びであることを特徴とする請求項２に記載の顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のユーザーの顔に対する適合度合いを評価する方法。
【請求項4】
前記顔に対する適合度合いは前記喜びの評価値が大きくなると適合度合いが高いと評価することを特徴とする請求項３に記載の顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のユーザーの顔に対する適合度合いを評価する方法。
【請求項5】
前記感情識別器で推定する感情の少なくとも１つは、嫌悪であることを特徴とする請求項２～４のいずれかに記載の顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のユーザーの顔に対する適合度合いを評価する方法。
【請求項6】
前記顔に対する適合度合いは前記嫌悪の評価値が大きくなると適合度合いが低いと評価することを特徴とする請求項５に記載の顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のユーザーの顔に対する適合度合いを評価する方法。
【請求項7】
前記感情識別器で推定する感情の少なくとも１つは、困惑であることを特徴とする請求項２～６のいずれかに記載の顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のユーザーの顔に対する適合度合いを評価する方法。
【請求項8】
前記感情識別器で推定する感情の少なくとも１つは、中立であることを特徴とする請求項２～７のいずれかに記載の顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のユーザーの顔に対する適合度合いを評価する方法。
【請求項9】
前記顔画像評価器は顔画像に基づいて年齢を推定する年齢識別器であることを特徴とする請求項１～８のいずれかに記載の顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のユーザーの顔に対する適合度合いを評価する方法。
【請求項10】
前記顔画像評価器は顔画像に基づいて性別を推定する性別識別器であることを特徴とする請求項１～９のいずれかに記載の顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のユーザーの顔に対する適合度合いを評価する方法。
【請求項11】
前記ユーザーの見られ方に対する要求を取得する手段を有し、前記要求からユーザーに適合する目標評価値を算出し、前記第１の評価値と前記第２の評価値とから算出した評価値と、前記目標評価値とを比較することにより前記ユーザーの顔に対する適合度合いを算出することを特徴とする請求項１～１０のいずれかに記載の顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のユーザーの顔に対する適合度合いを評価する方法。
【請求項12】
前記第１の顔画像は、前記装飾品、前記日用品及び前記化粧を装着していない様子を撮影したものであることを特徴とする請求項１～１１のいずれかに記載の顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のユーザーの顔に対する適合度合いを評価する方法。
【請求項13】
前記第１の顔画像は前記ユーザー側で撮影し通信手段で送られた撮影画像データに基づくものであることを特徴とする請求項１～１２のいずれかに記載の顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のユーザーの顔に対する適合度合いを評価する方法。
【請求項14】
前記ユーザーの適合度合いは、前記ユーザーの顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型の２つ以上に基づいて評価することを特徴とする請求項１～１３のいずれかに記載の顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のユーザーの顔に対する適合度合いを評価する方法。
【請求項15】
前記装飾品又は前記日用品は眼鏡であることを特徴とする請求項１～１３のいずれかに記載の顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のユーザーの顔に対する適合度合いを評価する方法。
【請求項16】
前記第2の顔画像を前記ユーザーまたは前記ユーザー以外の評価者に提示し、前記第2の顔画像を見た際の前記ユーザー又は前記ユーザー以外の評価者の顔画像を第3の顔画像として取得し、前記第3の顔画像を顔画像評価器で評価して前記第３の顔画像の評価値としての第３の評価値を算出し、前記第３の評価値から前記ユーザーの顔に対する適合度合いを算出することを特徴とする請求項１～１５のいずれかに記載の顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のユーザーの顔に対する適合度合いを評価する方法。
【請求項17】
ユーザーの顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型の前記ユーザーの顔に対する適合度合いを評価するコンピュータ装置を使用したシステムであって、
第１の顔画像を取得する第１の手段と、前記装飾品、前記日用品、前記化粧及び前記髪型の少なくとも１つの画像を前記第１の顔画像に合成して第２の顔画像を作成する第２の手段と、
前記第１の手段で得られた前記第１の顔画像の第１の評価値を算出する第３の手段と、前記第２の手段で得られた前記第２の顔画像の第２の評価値を算出する第４の手段とを有し、
前記第３の手段によって得られた前記第１の評価値と、前記第４の手段によって得られた前記第２の評価値とから前記ユーザーの顔に対する適合度合いを算出する第５の手段とを有することを特徴とする顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型の前記ユーザーの顔に対する適合度合いを評価するシステム。
第１の顔画像を取得する第１の手段と、前記装飾品、前記日用品、前記化粧及び前記髪型の少なくとも１つの画像を前記第１の顔画像に合成して第２の顔画像を作成する第２の手段と、
前記第１の手段で得られた前記第１の顔画像の第１の評価値を算出する第３の手段と、前記第２の手段で得られた前記第２の顔画像の第２の評価値を算出する第４の手段とを有し、
前記第３の手段によって得られた前記第１の評価値と、前記第４の手段によって得られた前記第２の評価値とから前記ユーザーの顔に対する適合度合いを算出する第５の手段とを有することを特徴とする顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型の前記ユーザーの顔に対する適合度合いを評価するシステム。
【請求項18】
前記ユーザーの顔に対する適合度合いに関する情報を表示する表示手段を備えることを特徴とする請求項１７に記載の顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型の前記ユーザーの顔に対する適合度合いを評価するシステム。
【請求項19】
前記ユーザーに対し前記第１の評価値、前記第２の評価値及び前記第１の評価値と前記第２の評価値とから算出した評価値の２つ以上を表示する表示手段を備えることを特徴とする請求項１７又は１８に記載の顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型の前記ユーザーの顔に対する適合度合いを評価するシステム。
【請求項20】
前記ユーザーの要求を入力する入力手段を備えることを特徴とする請求項１７～１９のいずれかに記載の顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型の前記ユーザーの顔に対する適合度合いを評価するシステム。
【請求項21】
前記第2の顔画像を前記ユーザーまたは前記ユーザー以外の評価者に提示する表示手段と、前記第2の顔画像を見た際の前記ユーザーまたは前記ユーザー以外の評価者の顔画像を第3の顔画像として取得する第6の手段と、前記第3の顔画像を顔画像評価器で評価して前記第３の顔画像の評価値としての第３の評価値を算出する第７の手段とを備えることを特徴とする請求項１７～２０のいずれかに記載の顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のユーザーの顔に対する適合度合いを評価するシステム。
【請求項22】
請求項１７～２１のいずれかのシステムによって得られた前記適合度合いに基づいて前記ユーザーに対し前記ユーザーに適合する前記装飾品、前記日用品、前記化粧及び前記髪型の少なくとも１つの情報を提示することを特徴とする推奨システム。
【請求項23】
ユーザーの顔に適合する眼鏡のコンピュータ装置を使用した設計システムであって、
第１の顔画像を取得する第１の手段と、複数の評価したい眼鏡の画像を前記第１の顔画像に合成して第２の顔画像を複数作成する第２の手段と、
前記第１の手段で得られた前記第１の顔画像の第１の評価値を算出する第３の手段と、前記第２の手段で得られた前記第２の顔画像の複数の第２の評価値を算出する第４の手段とを有し、
前記第３の手段によって得られた前記第１の評価値と、前記第４の手段によって得られた複数の前記第２の評価値とから複数の前記評価したい眼鏡についての前記ユーザーの顔に対する適合度合いを算出する第５の手段とを有し、前記第５の手段において得られた複数の適合度合いに基づいて最も適合度合いの高い眼鏡を前記ユーザーの顔に適合する眼鏡として設計することを特徴とする眼鏡の設計システム。
第１の顔画像を取得する第１の手段と、複数の評価したい眼鏡の画像を前記第１の顔画像に合成して第２の顔画像を複数作成する第２の手段と、
前記第１の手段で得られた前記第１の顔画像の第１の評価値を算出する第３の手段と、前記第２の手段で得られた前記第２の顔画像の複数の第２の評価値を算出する第４の手段とを有し、
前記第３の手段によって得られた前記第１の評価値と、前記第４の手段によって得られた複数の前記第２の評価値とから複数の前記評価したい眼鏡についての前記ユーザーの顔に対する適合度合いを算出する第５の手段とを有し、前記第５の手段において得られた複数の適合度合いに基づいて最も適合度合いの高い眼鏡を前記ユーザーの顔に適合する眼鏡として設計することを特徴とする眼鏡の設計システム。
【請求項24】
複数の前記評価したい眼鏡の画像は、コンピューターシミュレーションにより仮想的に作成されたものであることを特徴とする請求項２３に記載の顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型の前記ユーザーの顔に対する眼鏡の設計システム。
【請求項25】
複数の前記第２の顔画像を前記ユーザーまたは前記ユーザー以外の評価者に提示する表示手段と、複数の前記第２の顔画像を見た際の前記ユーザーまたは前記ユーザー以外の評価者の顔画像を複数の第３の顔画像として取得する第6の手段と、前記複数の第３の顔画像を顔画像評価器で評価して前記複数の第３の顔画像の評価値としての複数の第３の評価値を算出する第７の手段を備えることを特徴とする請求項２３～２４のいずれかに記載の眼鏡の設計システム。
【請求項26】
ユーザーの顔に適合するコンピュータ装置を使用した眼鏡の設計システムであって、
第１の顔画像を取得する第１の手段と、複数の評価したい眼鏡フレームの画像を前記第１の顔画像に合成して第２の顔画像を複数作成する第２の手段と、
前記第１の顔画像の第１の評価値を算出する第３の手段と、前記第２の顔画像の複数の第２の評価値を算出する第４の手段とを有し、
前記第３の手段によって得られた前記第１の顔画像評価値と、前記第４の手段によって得られた前記複数の第２の顔画像評価値とから複数の前記複数の評価したい眼鏡についての前記ユーザーの顔に対する適合度合いを算出し、複数の前記第２の顔画像において前記眼鏡フレームと前記ユーザーの顔が重なる座標群を算出し、前記座標群と前記適合度合いの組み合わせとから、前記ユーザーの顔に対する適合度合いを向上又は低下させる座標群を算出する第５の手段とを有し、前記第５の手段において得られた前記座標群を用いて前記ユーザーの顔に適合する眼鏡を設計することを特徴とする眼鏡の設計システム。
第１の顔画像を取得する第１の手段と、複数の評価したい眼鏡フレームの画像を前記第１の顔画像に合成して第２の顔画像を複数作成する第２の手段と、
前記第１の顔画像の第１の評価値を算出する第３の手段と、前記第２の顔画像の複数の第２の評価値を算出する第４の手段とを有し、
前記第３の手段によって得られた前記第１の顔画像評価値と、前記第４の手段によって得られた前記複数の第２の顔画像評価値とから複数の前記複数の評価したい眼鏡についての前記ユーザーの顔に対する適合度合いを算出し、複数の前記第２の顔画像において前記眼鏡フレームと前記ユーザーの顔が重なる座標群を算出し、前記座標群と前記適合度合いの組み合わせとから、前記ユーザーの顔に対する適合度合いを向上又は低下させる座標群を算出する第５の手段とを有し、前記第５の手段において得られた前記座標群を用いて前記ユーザーの顔に適合する眼鏡を設計することを特徴とする眼鏡の設計システム。
【請求項27】
前記顔画像評価器は感情識別器であり、前記感情識別器はポジティブな感情を識別し、前記ポジティブな感情と前記ユーザーの要望するポジティブな感情が一致する場合に適合度合いが高いと評価して設計することを特徴とする請求項２３～２６のいずれかに記載の眼鏡の設計システム。
【請求項28】
前記顔画像評価器は感情識別器であり、前記感情識別器はネガティブな感情を識別し、前記ネガティブな感情と前記ユーザーの要望するネガティブな感情が一致する場合に適合度合いが高いと設計することを特徴とする請求項２３～２７のいずれかに記載の眼鏡の設計システム。
【請求項29】
前記顔画像評価器は感情識別器であり、ユーザーの要望する感情と反対となる感情の場合に適合度合いが低いと評価し設計することを特徴とする請求項２３～２８のいずれかに記載の眼鏡の設計システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のユーザーの顔に対する適合度合いを評価する方法及び同適合度合いを評価するシステム、装飾品又は日用品、もしくは化粧又は髪型等を推奨するシステム、及び眼鏡の設計システム等に関するものである。
【背景技術】
【0002】
ユーザーは買い物時に自分に似合ったものを購入したいという欲求がある。そのため、店舗での接客時には接客者が、服や靴、眼鏡、帽子、化粧品、装飾品等ユーザーに似合うかどうかという観点から勧めることでユーザーの購入時の満足を高めることができる。
中でも人の「顔」や「顔」周辺に身に着けるアイテムの選定は、そのユーザーが普段の生活で鏡で自分の顔を見るため、また、他人から見られるときの印象に関わるため、似合うかどうかが特に重要である。そこで、従来から人の「顔」を写真等で撮り、似合うかどうかを選定するシステムの開発が提案されている。
そのような選定システムの一例として、引用文献１を挙げる。引用文献１では、被験者の顔の写真に、仮想的に眼鏡を重ねた画像を提示することによって、被験者の選定を補助するシステムが提案されている。
また、顔の写真を用いた選定システムとして、引用文献２を挙げる。引用文献２では、被験者の顔写真データを用いて分析された各種情報に基づいて当該被験者に似合うヘアスタイルを的確に選定し、そのヘアスタイルと被験者の顔写真データとの合成画像を表示出力することができるヘアスタイルの選定システム、方法が提案されている。
中でも人の「顔」や「顔」周辺に身に着けるアイテムの選定は、そのユーザーが普段の生活で鏡で自分の顔を見るため、また、他人から見られるときの印象に関わるため、似合うかどうかが特に重要である。そこで、従来から人の「顔」を写真等で撮り、似合うかどうかを選定するシステムの開発が提案されている。
そのような選定システムの一例として、引用文献１を挙げる。引用文献１では、被験者の顔の写真に、仮想的に眼鏡を重ねた画像を提示することによって、被験者の選定を補助するシステムが提案されている。
また、顔の写真を用いた選定システムとして、引用文献２を挙げる。引用文献２では、被験者の顔写真データを用いて分析された各種情報に基づいて当該被験者に似合うヘアスタイルを的確に選定し、そのヘアスタイルと被験者の顔写真データとの合成画像を表示出力することができるヘアスタイルの選定システム、方法が提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００３－３０２９６号公報
【特許文献2】特開２０１１－１４３１５８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、引用文献１は、顔写真に眼鏡を重ねて表示しユーザーに選定させるシステムであるが、ユーザーの顔に対して何故その眼鏡がよいのかの説明がなく、眼鏡の選定はユーザーの主観によることとなってしまっている。
また、引用文献２は、予め作成したデータベースを参照するシステムであるため、データベースに存在する範囲の製品しか評価値を算出できずデータベース作成時に存在していない新製品の評価ができないか、できたとしても精度が低くなってしまう。また、このようなデータベースの作成するためには、一般に、「顔」と「製品」と「評価値」を紐づけたデータベースを作成する必要があるが、そのデータベースの作成には膨大な手間・コストがかかってしまう。
本発明は、このような諸問題点に鑑み、顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型について当該ユーザーの顔に対し何故よいのかをより客観的に説明でき、膨大なデータベースを作成する必要もなく、当該ユーザーの顔に対し適合する顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型等を選ぶことができる技術等を提供する。
また、引用文献２は、予め作成したデータベースを参照するシステムであるため、データベースに存在する範囲の製品しか評価値を算出できずデータベース作成時に存在していない新製品の評価ができないか、できたとしても精度が低くなってしまう。また、このようなデータベースの作成するためには、一般に、「顔」と「製品」と「評価値」を紐づけたデータベースを作成する必要があるが、そのデータベースの作成には膨大な手間・コストがかかってしまう。
本発明は、このような諸問題点に鑑み、顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型について当該ユーザーの顔に対し何故よいのかをより客観的に説明でき、膨大なデータベースを作成する必要もなく、当該ユーザーの顔に対し適合する顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型等を選ぶことができる技術等を提供する。
【課題を解決するための手段】
【0005】
上記課題を解決するために第１の手段では、ユーザーの顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型の前記ユーザーの顔に対する適合度合いを評価する方法であって、前記ユーザーの第１の顔画像と、評価したい前記装飾品、前記日用品、前記化粧及び前記髪型の少なくとも１つの画像を前記第１の顔画像に合成した第２の顔画像について、顔画像評価器で評価することで前記第１の顔画像の評価値としての第１の評価値と前記第２の顔画像の評価値として第２の評価値を算出し、前記第１の評価値と前記第２の評価値とから前記ユーザーの顔に対する適合度合いを算出することを特徴とする顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のユーザーの顔に対する適合度合いを評価するようにした。
これによって、都度算出した装飾品又は日用品、もしくは化粧又は髪型等についての適合度合いに基づいて似合っているかどうかを客観的に評価し判断することが可能となる。
これによって、都度算出した装飾品又は日用品、もしくは化粧又は髪型等についての適合度合いに基づいて似合っているかどうかを客観的に評価し判断することが可能となる。
【0006】
「ユーザーの顔あるいは顔周辺に装用する装飾品又は日用品」は、例えば、眼鏡、眼鏡型ディスプレイ、イヤリング、ピアス、イヤーカフ、フェイスペイント、ヘアバンド、帽子、カチューシャ、ヘッドフォン、イヤホン、マイク付きイヤホン、アイマスク、カラーコンタクト、マスク、マスクチャーム、フェイスマスク、フェイスガード、ウェアラブル等の生体計測装置等である。ユーザーの顔あるいは顔周辺に装用するものであればこれらに限定されない。
「化粧又は髪型」において、化粧には例えば口紅、頬紅、アイシャドー、眉墨等の化粧品による化粧と、例えばつけまつげやウィッグ等の繰り返し着脱して使用するような部材を用いた化粧も含む。また、例えば２０μｍ以下の極薄厚の透明な伸縮テープ等をユーザーの顔に装着し皺やくすみなどを減少させる場合なども化粧に含む。また、顔の化粧だけでなく毛染めによる髪色を変化させる場合も化粧や髪型に含む。化粧や髪型には例えばラメ等の部材を使用した場合も含む。
装用又は装着される「装飾品又は日用品、もしくは化粧又は髪型」は１つだけでもよく、これらの要素から選択的に複数を装用してもよい。
「第１の顔画像」は、顔を含む頭部を前方から取得した画像であって顔だけでもよく顔とそれに付随する例えば、髪の毛、頭部、耳、首等を含んでもよい。前方は真正面でもよく、斜め下や斜め横からなど真正面でなくとも顔の主要な部分が写っていればよい。「第１の顔画像」は「前記装飾品又は日用品の非装用の、又は前記化粧の非装着の、もしくは前記化粧又は髪型の評価前の顔画像」であることが、ユーザーの普段の様子や適合度合い評価時の様子を適切に評価（適合度合い）に反映できるためよい。
第１の顔画像の取得は、例えばカメラ等の撮像装置を使用する。取得した顔画像はデジタル的な顔画像データであってもよく、プリントアウトした写真のような印刷したものでもよい。また、ユーザーが自らスマートフォンやタブレット等のようなデバイスで自らの顔等を撮影してもよく、装飾品又は日用品、もしくは化粧又は髪型を提供する店側で例えばカメラ、ビデオ等またはカメラ、ビデオ等を備えた装置で撮影されてもよい。ユーザーが自宅で第１の顔画像を取得した場合には、例えばインターネット等のオンラインサービス上にて送信してもよい。また、データをメモリに格納して評価する場所へ持ち込んでもよい。
「評価したい装飾品等の画像を合成した第２の顔画像」は、装飾品等の画像を第１の顔画像に合成するものであるため第２の顔画像自体を撮像装置を使用して撮像するものではない。第２の顔画像自体を撮像する場合、第１の顔画像とは異なる環境であったり、異なる表情、異なる顔の位置や向きとなってしまうことがあり、かなり正確に第１の顔画像と同じように撮像したつもりでも正確に同じ画像が取得できるわけでもないため、評価値に影響を与えてしまうからである。すなわち、第１の顔画像に対する評価値と第２の顔画像に対する評価値の違いには、合成した評価したい装飾品等の画像の影響による変化以外にも、第１の顔画像と第２の顔画像が異なることの影響も含まれてしまい、評価したい装飾品等のみの影響を評価したことにならないためである。ところが、第１の顔画像に評価したい装飾品等の画像（写真）を合成して第２の顔画像を作成し第１の顔画像の評価値と第２の顔画像の評価値とを求めればその評価値の違いは評価したい装飾品等のみの影響を反映したものになる。
また、装飾品等の画像は前もって用意されていることがよい。画像は例えばカメラ等の撮像装置によって写真や映像として取り込んでおいてもよく、実物を撮像したのではなくＣＧ的に作成されたものを使用してもよく、著作権フリーの画像をインターネット上のＷｅｂページから取得するようにして作製してもよい。また、当該ユーザへの適合度合いを評価したい装飾品等の画像を当該のユーザーの顔画像とは別に撮影等をして取得してもよい。装飾品等の画像は例えばレイヤー画面として第１の顔画像の上に重ねるようにして作成するとよい。
この合成作業は、例えば作業者が目視によって操作手段、例えばマウス等を使用してコンピュータ装置の制御手段がモニター上に表示させる第１の顔画像に対して装飾品等をグリップして任意に移動させて配置させるようにしてもよく、コンピュータ装置内のプログラムを制御手段が制御して装飾品等に応じた妥当な位置を自動認識することで第１の顔画像の上に自動的に装飾品等を配置するようにしてもよい。また、顔画像評価器の顔識別機能を用いることで適切な位置に装飾品等の画像をプログラムに自動で配置させてもよい。
「化粧又は髪型」において、化粧には例えば口紅、頬紅、アイシャドー、眉墨等の化粧品による化粧と、例えばつけまつげやウィッグ等の繰り返し着脱して使用するような部材を用いた化粧も含む。また、例えば２０μｍ以下の極薄厚の透明な伸縮テープ等をユーザーの顔に装着し皺やくすみなどを減少させる場合なども化粧に含む。また、顔の化粧だけでなく毛染めによる髪色を変化させる場合も化粧や髪型に含む。化粧や髪型には例えばラメ等の部材を使用した場合も含む。
装用又は装着される「装飾品又は日用品、もしくは化粧又は髪型」は１つだけでもよく、これらの要素から選択的に複数を装用してもよい。
「第１の顔画像」は、顔を含む頭部を前方から取得した画像であって顔だけでもよく顔とそれに付随する例えば、髪の毛、頭部、耳、首等を含んでもよい。前方は真正面でもよく、斜め下や斜め横からなど真正面でなくとも顔の主要な部分が写っていればよい。「第１の顔画像」は「前記装飾品又は日用品の非装用の、又は前記化粧の非装着の、もしくは前記化粧又は髪型の評価前の顔画像」であることが、ユーザーの普段の様子や適合度合い評価時の様子を適切に評価（適合度合い）に反映できるためよい。
第１の顔画像の取得は、例えばカメラ等の撮像装置を使用する。取得した顔画像はデジタル的な顔画像データであってもよく、プリントアウトした写真のような印刷したものでもよい。また、ユーザーが自らスマートフォンやタブレット等のようなデバイスで自らの顔等を撮影してもよく、装飾品又は日用品、もしくは化粧又は髪型を提供する店側で例えばカメラ、ビデオ等またはカメラ、ビデオ等を備えた装置で撮影されてもよい。ユーザーが自宅で第１の顔画像を取得した場合には、例えばインターネット等のオンラインサービス上にて送信してもよい。また、データをメモリに格納して評価する場所へ持ち込んでもよい。
「評価したい装飾品等の画像を合成した第２の顔画像」は、装飾品等の画像を第１の顔画像に合成するものであるため第２の顔画像自体を撮像装置を使用して撮像するものではない。第２の顔画像自体を撮像する場合、第１の顔画像とは異なる環境であったり、異なる表情、異なる顔の位置や向きとなってしまうことがあり、かなり正確に第１の顔画像と同じように撮像したつもりでも正確に同じ画像が取得できるわけでもないため、評価値に影響を与えてしまうからである。すなわち、第１の顔画像に対する評価値と第２の顔画像に対する評価値の違いには、合成した評価したい装飾品等の画像の影響による変化以外にも、第１の顔画像と第２の顔画像が異なることの影響も含まれてしまい、評価したい装飾品等のみの影響を評価したことにならないためである。ところが、第１の顔画像に評価したい装飾品等の画像（写真）を合成して第２の顔画像を作成し第１の顔画像の評価値と第２の顔画像の評価値とを求めればその評価値の違いは評価したい装飾品等のみの影響を反映したものになる。
また、装飾品等の画像は前もって用意されていることがよい。画像は例えばカメラ等の撮像装置によって写真や映像として取り込んでおいてもよく、実物を撮像したのではなくＣＧ的に作成されたものを使用してもよく、著作権フリーの画像をインターネット上のＷｅｂページから取得するようにして作製してもよい。また、当該ユーザへの適合度合いを評価したい装飾品等の画像を当該のユーザーの顔画像とは別に撮影等をして取得してもよい。装飾品等の画像は例えばレイヤー画面として第１の顔画像の上に重ねるようにして作成するとよい。
この合成作業は、例えば作業者が目視によって操作手段、例えばマウス等を使用してコンピュータ装置の制御手段がモニター上に表示させる第１の顔画像に対して装飾品等をグリップして任意に移動させて配置させるようにしてもよく、コンピュータ装置内のプログラムを制御手段が制御して装飾品等に応じた妥当な位置を自動認識することで第１の顔画像の上に自動的に装飾品等を配置するようにしてもよい。また、顔画像評価器の顔識別機能を用いることで適切な位置に装飾品等の画像をプログラムに自動で配置させてもよい。
【0007】
「顔画像評価器」は、入力した顔画像を識別して評価値を出力する機能を有する装置であって、入力された顔画像に対して、顔画像に対する１つ以上の評価値を返すものである。画像評価器はコンピュータ装置の記憶装置にプログラム（ソフトウェア）として実装されてもよく、コンピュータ装置等に接続される回路設計されたハード的な装置として実装されてもよい。また、カメラやビデオ等の撮像装置と一体型の装置（もしくはその一部）となっていてもよい。
顔画像評価器へ入力するデータは、写真や動画等の画像データを用いることができ、写真のように静止画入力データとして評価するものと、映像のように動画を入力データとして評価するものがありどちらも使用可能である。写真や動画等の画像データは、画像フィルター等の前処理を行うことが当該のユーザーの顔の識別や認識精度を上げるためによく、また、３Ｄモデリングなどにより３Ｄデータに変換して用いても奥行き方向の情報が得られることになるためよい。顔画像評価器は、入力された顔画像（静止画及び動画等）から顔画像の少なくとも一部の特徴を抽出し（特徴量の抽出）、評価器作成時に学習した相関関係に基づき作成者が設定した評価項目の類似度や推定値を計算し、評価値として出力することがよい。
顔画像評価器は、顔画像の少なくとも一部分から抽出された特徴と、感情や年齢等の顔画像評価器の作成者が設定した評価項目との相関を統計的に学習し、作成するものであることがよい。例えば、多数の感情や年齢等の特徴が紐づけられた顔画像からディープラーニング等を用いて顔画像評価器を作成して用いることができる。顔画像評価器として例えば市販のソフトウェア（ＡＰＩ等）や組み込みハードウエアからなるものを本発明に使用してもよい。「特徴量」とは顔画像を構成する情報のうち、顔画像評価器が評価する評価項目と統計的に相関がヒモ付けられている情報である。顔画像評価器の作成者が、例えば顔の皺や弛み、口角や目尻の輪郭線の一部の位置や角度や、眉毛の角度や目との位置関係などのように特徴量を設定し、顔画像から特徴量を画像フィルターや計算等により取り出してもよく、また、ディープラーニングなどの機械学習のアルゴリズムを用いて多数の顔画像データと評価項目のデータ群より特徴量をコンピュータに設定させてもよい。また、特徴量の抽出は、顔画像より構成する口角や目尻などの特徴ある点を「特徴点」として取り出し、その特徴点より計算して算出するなどしてもよい。特徴点を取り出し、その特徴点から特徴量を算出することで、評価者に分かりやすい特徴を抽出することができ、また、特徴量の計算にかかる計算コストを下げることができるようになる。このような特徴量の抽出は、例えば、口角や目尻や輪郭線の一部といった顔の特徴に関わる特徴点を抽出し、その特徴点の一つ以上の点を使い、２つの特徴点の距離や複数の特徴点を結んだ図形の形状や特徴点で囲まれた領域の画素のRGB値もしくは色相や輝度や彩度に基づき数値化するなどによって行うことができる。
顔画像評価器は評価する顔画像をどのような評価項目に対して識別し分類し評価するかによって、感情識別器、年齢識別器、性別識別器等の識別器を含んで構成されることがよい。感情、年齢、性別等のより具体的な評価項目に対して評価することにより評価する顔画像のより微妙な評価ができることとなる。顔画像評価器を構成する識別器は複数で構成されていてもよく、いずれか１つの識別器であってもよい。以下、感情識別器、年齢識別器、性別識別器について説明する。
顔画像評価器へ入力するデータは、写真や動画等の画像データを用いることができ、写真のように静止画入力データとして評価するものと、映像のように動画を入力データとして評価するものがありどちらも使用可能である。写真や動画等の画像データは、画像フィルター等の前処理を行うことが当該のユーザーの顔の識別や認識精度を上げるためによく、また、３Ｄモデリングなどにより３Ｄデータに変換して用いても奥行き方向の情報が得られることになるためよい。顔画像評価器は、入力された顔画像（静止画及び動画等）から顔画像の少なくとも一部の特徴を抽出し（特徴量の抽出）、評価器作成時に学習した相関関係に基づき作成者が設定した評価項目の類似度や推定値を計算し、評価値として出力することがよい。
顔画像評価器は、顔画像の少なくとも一部分から抽出された特徴と、感情や年齢等の顔画像評価器の作成者が設定した評価項目との相関を統計的に学習し、作成するものであることがよい。例えば、多数の感情や年齢等の特徴が紐づけられた顔画像からディープラーニング等を用いて顔画像評価器を作成して用いることができる。顔画像評価器として例えば市販のソフトウェア（ＡＰＩ等）や組み込みハードウエアからなるものを本発明に使用してもよい。「特徴量」とは顔画像を構成する情報のうち、顔画像評価器が評価する評価項目と統計的に相関がヒモ付けられている情報である。顔画像評価器の作成者が、例えば顔の皺や弛み、口角や目尻の輪郭線の一部の位置や角度や、眉毛の角度や目との位置関係などのように特徴量を設定し、顔画像から特徴量を画像フィルターや計算等により取り出してもよく、また、ディープラーニングなどの機械学習のアルゴリズムを用いて多数の顔画像データと評価項目のデータ群より特徴量をコンピュータに設定させてもよい。また、特徴量の抽出は、顔画像より構成する口角や目尻などの特徴ある点を「特徴点」として取り出し、その特徴点より計算して算出するなどしてもよい。特徴点を取り出し、その特徴点から特徴量を算出することで、評価者に分かりやすい特徴を抽出することができ、また、特徴量の計算にかかる計算コストを下げることができるようになる。このような特徴量の抽出は、例えば、口角や目尻や輪郭線の一部といった顔の特徴に関わる特徴点を抽出し、その特徴点の一つ以上の点を使い、２つの特徴点の距離や複数の特徴点を結んだ図形の形状や特徴点で囲まれた領域の画素のRGB値もしくは色相や輝度や彩度に基づき数値化するなどによって行うことができる。
顔画像評価器は評価する顔画像をどのような評価項目に対して識別し分類し評価するかによって、感情識別器、年齢識別器、性別識別器等の識別器を含んで構成されることがよい。感情、年齢、性別等のより具体的な評価項目に対して評価することにより評価する顔画像のより微妙な評価ができることとなる。顔画像評価器を構成する識別器は複数で構成されていてもよく、いずれか１つの識別器であってもよい。以下、感情識別器、年齢識別器、性別識別器について説明する。
【0008】
（１）感情識別器について
「感情識別器」とは、顔画像評価器のうち、入力された顔画像の感情を推定して識別するもので、人の顔の輪郭や顔のパーツの輪郭、それらの配置や向き等を特徴として抽出し（特徴量の抽出）、その特徴量を用いて感情を識別し数値化する「感情評価器」である。感情識別器は別途アンケート等を用いて主観的に評価するなどして求めた感情と、顔画像の特徴量の相関を機械学習などのアルゴリズムを用いて学習させたものであることがよい。感情識別器は、予め学習させてある「特徴量と評価値との相関」より統計的に評価値を算出する。この相関は、例えば入力された顔画像より抽出された特徴量について、特徴量と評価値による多数のデータを用いて得られる標本相関係数に基づいて例えば最尤法によって推定量を求めることができる。
例えば、「感情」は、「感情価」として評価され、０～１の数字（０～１００％）で確率的に出力されることがよい。例えば図１（ｄ）では、中立０．５１、喜び０．１８、怒り０．１２、悲しみ０．１１、驚き０．０８と評価されているが、確率的に入力された顔画像は「中立」である確率が高く、次いで「喜び」である確率が高いということである。そのため入力された顔画像は中立～喜びの間の感情価を有すると解釈されるか、中立の可能性が最も高いと解釈される。感情識別器で評価する「感情」は１つであっても複数であってもよい。また複数評価しておき、その中で感情を評価したい感情についてのみ評価に用いるなども自由である。
以下に感情を数値化するための感情モデルの例について説明する。
図３に示す公知のPlutchikの感情の輪モデルでは、喜び(Joy)、信頼(Trust)、恐れ(Fear)、驚き(Surprise)、悲しみ(Sadness)、嫌悪(Disgust)、怒り(Anger)、期待(Anticipation)を基本8感情として、人間の感情を表している。喜びと悲しみ、信頼と嫌悪、恐れと怒り、期待と驚きがそれぞれ対になる感情として扱われる。
また、このモデルでは、基本感情から強度によって推移した感情として、平穏(Serenity)、恍惚(Ecstasy)、容認(Acceptance)、敬愛(Adoration)、不安(Apprehension)、恐怖(Terror)、放心(Distraction)、驚嘆(Amazement)、哀愁(Pensiveness)、悲観(Grief)、退屈 (Boredom)、強い嫌悪(Loathing)、煩さ(Annoyance)、激怒(rage)、関心(Interest)、警戒(Vigilance)があり、基本感情が混合した感情として、愛(Love)、服従(Submission)、畏怖(Awe)、拒絶(Disapproval)、後悔(Remorse)、軽蔑(Contempt)、攻撃(Aggressiveness)、楽観(Optimism)、誇り(Pride)、罪悪感(Guilt)、希望(Hope)、好奇心(Curiosity)、絶望(Despair)、不信(Unbelief)、羨望(Envy)、皮肉(Cynicism)、感動(Delight)、感傷(Sentimentality)、恥(Shame)、憎悪(Outrage)、悲観(Pessimism)、不健全(Morbidness)、優越(Dominance)、不安(Anxiety)がある。これらは感情識別器の評価項目として用いることができる。このような感情モデルは２軸、４軸、環状など様々なタイプが公知であり、感情識別器の作成時に用いることが可能である。
「感情識別器」とは、顔画像評価器のうち、入力された顔画像の感情を推定して識別するもので、人の顔の輪郭や顔のパーツの輪郭、それらの配置や向き等を特徴として抽出し（特徴量の抽出）、その特徴量を用いて感情を識別し数値化する「感情評価器」である。感情識別器は別途アンケート等を用いて主観的に評価するなどして求めた感情と、顔画像の特徴量の相関を機械学習などのアルゴリズムを用いて学習させたものであることがよい。感情識別器は、予め学習させてある「特徴量と評価値との相関」より統計的に評価値を算出する。この相関は、例えば入力された顔画像より抽出された特徴量について、特徴量と評価値による多数のデータを用いて得られる標本相関係数に基づいて例えば最尤法によって推定量を求めることができる。
例えば、「感情」は、「感情価」として評価され、０～１の数字（０～１００％）で確率的に出力されることがよい。例えば図１（ｄ）では、中立０．５１、喜び０．１８、怒り０．１２、悲しみ０．１１、驚き０．０８と評価されているが、確率的に入力された顔画像は「中立」である確率が高く、次いで「喜び」である確率が高いということである。そのため入力された顔画像は中立～喜びの間の感情価を有すると解釈されるか、中立の可能性が最も高いと解釈される。感情識別器で評価する「感情」は１つであっても複数であってもよい。また複数評価しておき、その中で感情を評価したい感情についてのみ評価に用いるなども自由である。
以下に感情を数値化するための感情モデルの例について説明する。
図３に示す公知のPlutchikの感情の輪モデルでは、喜び(Joy)、信頼(Trust)、恐れ(Fear)、驚き(Surprise)、悲しみ(Sadness)、嫌悪(Disgust)、怒り(Anger)、期待(Anticipation)を基本8感情として、人間の感情を表している。喜びと悲しみ、信頼と嫌悪、恐れと怒り、期待と驚きがそれぞれ対になる感情として扱われる。
また、このモデルでは、基本感情から強度によって推移した感情として、平穏(Serenity)、恍惚(Ecstasy)、容認(Acceptance)、敬愛(Adoration)、不安(Apprehension)、恐怖(Terror)、放心(Distraction)、驚嘆(Amazement)、哀愁(Pensiveness)、悲観(Grief)、退屈 (Boredom)、強い嫌悪(Loathing)、煩さ(Annoyance)、激怒(rage)、関心(Interest)、警戒(Vigilance)があり、基本感情が混合した感情として、愛(Love)、服従(Submission)、畏怖(Awe)、拒絶(Disapproval)、後悔(Remorse)、軽蔑(Contempt)、攻撃(Aggressiveness)、楽観(Optimism)、誇り(Pride)、罪悪感(Guilt)、希望(Hope)、好奇心(Curiosity)、絶望(Despair)、不信(Unbelief)、羨望(Envy)、皮肉(Cynicism)、感動(Delight)、感傷(Sentimentality)、恥(Shame)、憎悪(Outrage)、悲観(Pessimism)、不健全(Morbidness)、優越(Dominance)、不安(Anxiety)がある。これらは感情識別器の評価項目として用いることができる。このような感情モデルは２軸、４軸、環状など様々なタイプが公知であり、感情識別器の作成時に用いることが可能である。
【0009】
（２）年齢識別器について
「年齢識別器」は、顔画像評価器のうち、入力された顔画像の年齢を推定し識別し出力する「年齢評価器」である。多数の顔画像から抽出した特徴量と年齢の相関を機械学習などのアルゴリズムを用いて学習させたものであることがよい。例えば、皺や弛み、目じりが下がるなどの人が年齢を重ねるに応じて変化していく顔の視覚的特徴の少なくとも１つを特徴量として学習させることで年齢識別器を作成することができる。
（３）性別識別器について
「性別識別器」は、顔画像評価器のうち、入力された顔画像の性別を推定し識別し出力する「性別評価器」である。多数の顔画像から抽出した特徴量と性別の相関を学習させたものである。性別識別器は入力された顔画像の性別の統計的な確率を出力する。単に入力された顔画像について男性か女性かを判別するだけではなく、例えば、ある顔画像は、男性＝０．９（女性＝０．１）という具合に統計的な確率を出力する。０．５であれば中性的となる。このような性別識別器を用いることで、入力された顔画像が、男性的に見えるか、女性的に見えるかを客観的な数値として判別することが可能になる。ユーザーの要望には、より女性らしく見られたいとか、中性的に見られたいといったものがあるため、そのような要望について判別する際に性別識別器の出力する数値を判断材料とするとよい。また、一般的に、見た目の年齢や、顔の表情は性別によって大きく異なる。そのため、例えば、年齢識別器は性別識別器と組み合わされていることがよく、感情識別器は性別識別器と組み合わされていることがよい。
「年齢識別器」は、顔画像評価器のうち、入力された顔画像の年齢を推定し識別し出力する「年齢評価器」である。多数の顔画像から抽出した特徴量と年齢の相関を機械学習などのアルゴリズムを用いて学習させたものであることがよい。例えば、皺や弛み、目じりが下がるなどの人が年齢を重ねるに応じて変化していく顔の視覚的特徴の少なくとも１つを特徴量として学習させることで年齢識別器を作成することができる。
（３）性別識別器について
「性別識別器」は、顔画像評価器のうち、入力された顔画像の性別を推定し識別し出力する「性別評価器」である。多数の顔画像から抽出した特徴量と性別の相関を学習させたものである。性別識別器は入力された顔画像の性別の統計的な確率を出力する。単に入力された顔画像について男性か女性かを判別するだけではなく、例えば、ある顔画像は、男性＝０．９（女性＝０．１）という具合に統計的な確率を出力する。０．５であれば中性的となる。このような性別識別器を用いることで、入力された顔画像が、男性的に見えるか、女性的に見えるかを客観的な数値として判別することが可能になる。ユーザーの要望には、より女性らしく見られたいとか、中性的に見られたいといったものがあるため、そのような要望について判別する際に性別識別器の出力する数値を判断材料とするとよい。また、一般的に、見た目の年齢や、顔の表情は性別によって大きく異なる。そのため、例えば、年齢識別器は性別識別器と組み合わされていることがよく、感情識別器は性別識別器と組み合わされていることがよい。
【0010】
次に、図１及び図２に基づいて顔画像評価器を用いた顔に対する評価したい製品等の適合度合いの算出原理の概要を説明する。以下の算出は表示装置や入力装置を備えるコンピュータ装置によって実行される。コンピュータ装置の記憶装置には顔画像評価器によって得られた評価値に基づいて適合度合いを算出するプログラム（ソフトウェア）が記憶されている。コンピュータ装置の制御手段は作業者による入力に基づいてプログラムを実行して適合度合いを算出する。
以下の説明は製品として眼鏡を取り上げた一例であり、眼鏡以外の他の製品等でもよく、顔の特徴点（特徴量）についての評価値もある仮想的な人の一例である。
図１（ａ）に示す顔の人に対して、製品として眼鏡が適合しているか（似合っているか）について示す。まず、第１の顔画像をカメラ等で撮影し取得し、顔画像評価器に入力する。この顔画像評価器は感情識別器と年齢識別器より構成されるものである。識別精度向上のため、性別識別器等の他の識別器を含んで構成してもよい。顔画像評価器は、入力された第１の顔画像データから、特徴点を抽出し、特徴点より特徴量を計算し、予め学習させてある「特徴量と評価値との相関」より統計的に第１の顔画像に対する評価値を算出する。特徴量の算出過程は一例であり、顔画像評価器によっては、特徴点を算出せずに顔画像より直接特徴量を算出されることもある。図１（ｂ）及び図１（ｃ）に示すように、この例では眉毛、目、口、顎から頬にかけての輪郭を抽出し、特徴量算出のための特徴点とした。図１（ｄ）が評価値である。ここでは、顔画像評価器に設定された各評価項目について、年齢識別器により年齢２９歳、感情識別器により中立０．５１、喜び０．１８、怒り０．１２、悲しみ０．１１、驚き０．０８と評価値が算出された。
次に、図２（ａ）のように評価したい例えば装飾品等である眼鏡を第１の顔画像に対して合成して第２の顔画像を作成する。図２（ａ）のように評価したい眼鏡を第１の顔画像に合成する際には、眼鏡の位置や向きなどは評価者が手動で合わせてもよく、第１の顔画像の特徴点（図１（ｃ））を利用するなどして、プログラムに自動で決定させてもよい。このようにして作成した第２の顔画像データを顔画像評価器に入力する。
図２（ｂ）（ｃ）に示すように、顔画像評価器は、第１の顔画像データの場合と同様に顔画像２データに対する特徴量を抽出し、予め学習させてある「特徴量と評価値との相関」より統計的に第２の顔画像に対する評価値を算出する。第２の顔画像については、図２（ｄ）のように年齢識別器により年齢３０歳、感情識別器により中立０．５９、喜び０．０４、怒り０．０１、悲しみ０．３５、驚き０．０１と評価値が算出された。
以下の説明は製品として眼鏡を取り上げた一例であり、眼鏡以外の他の製品等でもよく、顔の特徴点（特徴量）についての評価値もある仮想的な人の一例である。
図１（ａ）に示す顔の人に対して、製品として眼鏡が適合しているか（似合っているか）について示す。まず、第１の顔画像をカメラ等で撮影し取得し、顔画像評価器に入力する。この顔画像評価器は感情識別器と年齢識別器より構成されるものである。識別精度向上のため、性別識別器等の他の識別器を含んで構成してもよい。顔画像評価器は、入力された第１の顔画像データから、特徴点を抽出し、特徴点より特徴量を計算し、予め学習させてある「特徴量と評価値との相関」より統計的に第１の顔画像に対する評価値を算出する。特徴量の算出過程は一例であり、顔画像評価器によっては、特徴点を算出せずに顔画像より直接特徴量を算出されることもある。図１（ｂ）及び図１（ｃ）に示すように、この例では眉毛、目、口、顎から頬にかけての輪郭を抽出し、特徴量算出のための特徴点とした。図１（ｄ）が評価値である。ここでは、顔画像評価器に設定された各評価項目について、年齢識別器により年齢２９歳、感情識別器により中立０．５１、喜び０．１８、怒り０．１２、悲しみ０．１１、驚き０．０８と評価値が算出された。
次に、図２（ａ）のように評価したい例えば装飾品等である眼鏡を第１の顔画像に対して合成して第２の顔画像を作成する。図２（ａ）のように評価したい眼鏡を第１の顔画像に合成する際には、眼鏡の位置や向きなどは評価者が手動で合わせてもよく、第１の顔画像の特徴点（図１（ｃ））を利用するなどして、プログラムに自動で決定させてもよい。このようにして作成した第２の顔画像データを顔画像評価器に入力する。
図２（ｂ）（ｃ）に示すように、顔画像評価器は、第１の顔画像データの場合と同様に顔画像２データに対する特徴量を抽出し、予め学習させてある「特徴量と評価値との相関」より統計的に第２の顔画像に対する評価値を算出する。第２の顔画像については、図２（ｄ）のように年齢識別器により年齢３０歳、感情識別器により中立０．５９、喜び０．０４、怒り０．０１、悲しみ０．３５、驚き０．０１と評価値が算出された。
【0011】
評価したい製品等のユーザーの顔に対する適合度合いは、前記第１の評価値と前記第２の評価値とから算出することがよい。適合度合いの算出は、前記第１の評価値と前記第２の評価値を用いて様々な計算手法が可能であるが、例えば、前記第１の評価値と前記第２の評価値の差分値や、前記第１の評価値と前記第２の評価値の比較値を用いることがよい。差分値は絶対値を評価してもよく、相対値を評価してもよい。顔画像評価器が複数の評価値を算出する場合には、前記第１の評価値と前記第２の評価値がそれぞれ複数算出されるが、複数の評価値それぞれに重み係数を掛けることで、適合度合いの算出時に必要な評価項目の評価値を重点的に評価できることになるため評価値の確からしさを高めることができる。
適合度は上記のようにして得られた第１の顔画像の各評価項目についての第１の評価値と、第２の顔画像の各評価項目についての第２の評価値のいずれか１つ以上に基づいて算出する。以下の適合度の計算例では、第１の評価値と第２の評価値とから適合度を算出することが重要であり計算の方法はこれに限定されるものではない。
今、「中立」「喜び」等の評価項目をＰ１～Ｐｘとする。すると、第１の顔画像について算出された第１の評価値Ａ１～Ａｘは評価項目毎に次のような関係となる。
評価項目Ｐ１の第１の評価値＝Ａ１、評価項目Ｐ１の第２の評価値＝Ａ２、
・・・評価項目Ｐｘの第１の評価値＝Ａｘ
同様に第２の顔画像について、ある「装飾品又は日用品、もしくは化粧又は髪型」を装用して算出された第２の評価値Ｂ１～Ｂｘは評価項目毎に次のような関係となる。
評価項目Ｐ１の第２の評価値＝Ｂ１、評価項目Ｐ２の第２の評価値＝Ｂ２、
・・・評価項目Ｐｘの第２の評価値＝Ｂｘ
評価したい製品等のユーザーの顔に対する適合度合いは、前記第１の評価値Ａ１～Ａｘと前記第２の評価値Ｂ１～Ｂｘとから算出する。適合度合いを算出する際には評価項目ごとに重み係数を設定し、第１の評価値及び第２の評価値に掛けるとよい。重み係数はユーザーの要望によって設定される。ここで評価項目Ｐ１～Ｐｘに対する重み係数をｗ１～ｗｘとすると、第１の評価値に重み係数を反映させた評価値は、ｗ１×Ａ１～ｗｘ×Ａｘ、第２の評価値に重み係数を反映させた評価値は、ｗ１×Ｂ１～ｗｘ×Ｂｘとなり、評価したい製品等のユーザーの顔に対する適合度合いは、第１の評価値に重み係数を反映させた評価値と第２の評価値に重み係数を反映させた評価値とから算出することがよい。
尚、重み係数は、第１の評価値と第２の評価値の差分値、例えば、（Ａ１－Ｂ１）～（Ａｘ－Ｂｘ）を算出してから掛けても、第１の評価値と第２の評価値の比較値、例えば、（Ａ１／Ｂ１）～（Ａｘ／Ｂｘ）を算出してから掛けるなどしても数式としては同義であるのでよい。
適合度は上記のようにして得られた第１の顔画像の各評価項目についての第１の評価値と、第２の顔画像の各評価項目についての第２の評価値のいずれか１つ以上に基づいて算出する。以下の適合度の計算例では、第１の評価値と第２の評価値とから適合度を算出することが重要であり計算の方法はこれに限定されるものではない。
今、「中立」「喜び」等の評価項目をＰ１～Ｐｘとする。すると、第１の顔画像について算出された第１の評価値Ａ１～Ａｘは評価項目毎に次のような関係となる。
評価項目Ｐ１の第１の評価値＝Ａ１、評価項目Ｐ１の第２の評価値＝Ａ２、
・・・評価項目Ｐｘの第１の評価値＝Ａｘ
同様に第２の顔画像について、ある「装飾品又は日用品、もしくは化粧又は髪型」を装用して算出された第２の評価値Ｂ１～Ｂｘは評価項目毎に次のような関係となる。
評価項目Ｐ１の第２の評価値＝Ｂ１、評価項目Ｐ２の第２の評価値＝Ｂ２、
・・・評価項目Ｐｘの第２の評価値＝Ｂｘ
評価したい製品等のユーザーの顔に対する適合度合いは、前記第１の評価値Ａ１～Ａｘと前記第２の評価値Ｂ１～Ｂｘとから算出する。適合度合いを算出する際には評価項目ごとに重み係数を設定し、第１の評価値及び第２の評価値に掛けるとよい。重み係数はユーザーの要望によって設定される。ここで評価項目Ｐ１～Ｐｘに対する重み係数をｗ１～ｗｘとすると、第１の評価値に重み係数を反映させた評価値は、ｗ１×Ａ１～ｗｘ×Ａｘ、第２の評価値に重み係数を反映させた評価値は、ｗ１×Ｂ１～ｗｘ×Ｂｘとなり、評価したい製品等のユーザーの顔に対する適合度合いは、第１の評価値に重み係数を反映させた評価値と第２の評価値に重み係数を反映させた評価値とから算出することがよい。
尚、重み係数は、第１の評価値と第２の評価値の差分値、例えば、（Ａ１－Ｂ１）～（Ａｘ－Ｂｘ）を算出してから掛けても、第１の評価値と第２の評価値の比較値、例えば、（Ａ１／Ｂ１）～（Ａｘ／Ｂｘ）を算出してから掛けるなどしても数式としては同義であるのでよい。
【0012】
重み係数は、正に限らず、０や負であってもよい。適合度を算出する際の評価したい評価項目と逆相関の評価項目では重み係数を負に設定し、まったく相関のない評価項目では重み係数を０に設定するとよい。このような重み係数の調整により、同一のアルゴリズムで、様々な適合度合いを計算できることとなる。
【0013】
本発明においては、第２の顔画像は、第１の顔画像そのものに対して評価したい製品等（本例では眼鏡）の画像を重ねて作成したものであることがポイントである。第１の顔画像に眼鏡を合成した第２の顔画像を顔画像評価器に入力することによって、顔画像評価器が抽出する「第２の顔画像の特徴量」が「第１の顔画像の特徴量」と比べて変化することになる。それは、特徴量（特徴点）の一部に対して評価したい製品の画像が重なることにより、特徴量として顔画像評価器に識別されなくなったり、例えば図２（ｂ）のように製品の一部が特徴点と重なることで（図２（ｂ）では眉毛）、製品の一部の方を特徴点として判別する等の結果、顔画像評価器が評価に用いる「特徴量に変化」が起こるためである。
上記のように顔画像評価器では、その評価を出力させたい評価項目に対応（相関）した特徴量が予め設定（例えば、機械学習等で設定）してある。特徴量は、例えば眼や唇の形や向き、開閉状態等の顔のパーツの形状等をターゲットにして作業者（特徴量の設定者）が設定することもあれば、多数の画像データとその画像それぞれに紐付けされた出力結果より深層学習等を用いて特徴量をコンピュータに求めさせる方法等がある。
例えば、年齢識別器や感情識別器では、評価項目としての、年齢（高く見える or若く見える）や感情（本例では中立、喜び、怒り、悲しみ、驚き）と相関した特徴量を学習している。すなわち、顔画像評価器は入力された顔画像の特徴量と、算出したい評価値に関する特徴量が統計的によく一致していれば、その評価値は統計的に高い評価値として算出され、良く一致していなければ低い評価値として算出される。そのため、第１の顔画像に対しての適合度（似合っているか）を評価したい製品を合成したことより「第２の顔画像の特徴量」が「第１の顔画像の特徴量」と変化した場合、その変化が評価したい製品の顔画像に対しての適合度（似合っているか）を反映している。すなわち、第２の顔画像の入力に対する評価値が、第１の顔画像の入力に対する評価値と変化した場合、その変化は、評価したい製品が画像的に重ねられたことにより、評価値を算出する特徴量を増減させた結果であり、顔画像に対して評価したい製品の適合度を評価していることになる。ここまで、評価したい製品として眼鏡の例で示したが、顔画像に重ねられる製品であれば特徴量が変化することになるため同様に評価でき、眼鏡であることは問わない。例えば、眼鏡型ディスプレイ、イヤリング、ヘアバンド、帽子、カチューシャ、ヘッドフォン、イヤホン、ピアス、イヤーカフ、フェイスペイント、マイク付きイヤホン、カラーコンタクト、アイマスク、マスク、マスクチャーム、フェイスマスク、フェイスガード、ウェアラブル等の生体計測装置等などの装飾品など顔に身に着けるものの他、化粧やヘアスタイルなどでも同様である。
上記のように顔画像評価器では、その評価を出力させたい評価項目に対応（相関）した特徴量が予め設定（例えば、機械学習等で設定）してある。特徴量は、例えば眼や唇の形や向き、開閉状態等の顔のパーツの形状等をターゲットにして作業者（特徴量の設定者）が設定することもあれば、多数の画像データとその画像それぞれに紐付けされた出力結果より深層学習等を用いて特徴量をコンピュータに求めさせる方法等がある。
例えば、年齢識別器や感情識別器では、評価項目としての、年齢（高く見える or若く見える）や感情（本例では中立、喜び、怒り、悲しみ、驚き）と相関した特徴量を学習している。すなわち、顔画像評価器は入力された顔画像の特徴量と、算出したい評価値に関する特徴量が統計的によく一致していれば、その評価値は統計的に高い評価値として算出され、良く一致していなければ低い評価値として算出される。そのため、第１の顔画像に対しての適合度（似合っているか）を評価したい製品を合成したことより「第２の顔画像の特徴量」が「第１の顔画像の特徴量」と変化した場合、その変化が評価したい製品の顔画像に対しての適合度（似合っているか）を反映している。すなわち、第２の顔画像の入力に対する評価値が、第１の顔画像の入力に対する評価値と変化した場合、その変化は、評価したい製品が画像的に重ねられたことにより、評価値を算出する特徴量を増減させた結果であり、顔画像に対して評価したい製品の適合度を評価していることになる。ここまで、評価したい製品として眼鏡の例で示したが、顔画像に重ねられる製品であれば特徴量が変化することになるため同様に評価でき、眼鏡であることは問わない。例えば、眼鏡型ディスプレイ、イヤリング、ヘアバンド、帽子、カチューシャ、ヘッドフォン、イヤホン、ピアス、イヤーカフ、フェイスペイント、マイク付きイヤホン、カラーコンタクト、アイマスク、マスク、マスクチャーム、フェイスマスク、フェイスガード、ウェアラブル等の生体計測装置等などの装飾品など顔に身に着けるものの他、化粧やヘアスタイルなどでも同様である。
【0014】
次に、本発明の手段を用いることにより顔画像に対して評価したい製品の適合度を算出することの意義について説明する。
通常、ある人に対して、評価したい製品（例えば眼鏡）が似合っているかどうかを判別する識別器を作成したい場合、様々な人に対して、様々な評価したい製品を掛けさせた画像（写真や映像）等を作成し、その画像において製品が良く似合っているかをアンケート等の主観評価で評価したデータ群を作成し、そのデータ群から学習データ、および検証のための評価データを作成し、そのデータ群を用いて識別器を作成する。このとき、例えば、機械学習などのアルゴリズムを用いる場合には、一般的に１０００～１００００データほどの画像は必要であり、データの作成に手間がかかるだけでなく、対応する主観評価を得るのもとても大変である。また、このような識別器の問題点は、識別器の作成時（学習時）に評価した製品のバリエーションから外れた製品や、別のカテゴリーの製品は評価できないということにある。つまり、識別器作成時に存在していなかった新製品や、別の商品については、苦労して似合っているかどうかを判別する識別器を作成したとしても全く使うことができない。転移学習等のアルゴリズムを用いることにより、この手間を減らす手法も提案されてはいるが、何らかの識別器のチューンナップが必要になる点は変わらない。
通常、ある人に対して、評価したい製品（例えば眼鏡）が似合っているかどうかを判別する識別器を作成したい場合、様々な人に対して、様々な評価したい製品を掛けさせた画像（写真や映像）等を作成し、その画像において製品が良く似合っているかをアンケート等の主観評価で評価したデータ群を作成し、そのデータ群から学習データ、および検証のための評価データを作成し、そのデータ群を用いて識別器を作成する。このとき、例えば、機械学習などのアルゴリズムを用いる場合には、一般的に１０００～１００００データほどの画像は必要であり、データの作成に手間がかかるだけでなく、対応する主観評価を得るのもとても大変である。また、このような識別器の問題点は、識別器の作成時（学習時）に評価した製品のバリエーションから外れた製品や、別のカテゴリーの製品は評価できないということにある。つまり、識別器作成時に存在していなかった新製品や、別の商品については、苦労して似合っているかどうかを判別する識別器を作成したとしても全く使うことができない。転移学習等のアルゴリズムを用いることにより、この手間を減らす手法も提案されてはいるが、何らかの識別器のチューンナップが必要になる点は変わらない。
【0015】
本発明で用いている年齢識別器や感情識別器は、「評価したい製品を装着していない」多数の顔に対して、評価項目（例えば年齢、感情（中立、喜び、怒りなど））に対する特徴量を学習等により設定したものである。評価したい製品を変えることで第２の顔画像は変化し、それに伴って顔画像の特徴量が増減することにより、評価値が変化することになる。
このとき、例えば年齢識別器であれば、評価値が年齢として算出され、その年齢をユーザーに対して評価したい製品の適合度に関する情報として伝える。年齢は若ければよいというものではない。ユーザーの実際の年齢、立場により理想とする見られたい年齢は異なり、「もう少し大人っぽく見られたい」とか「実際より５歳若く見られたいが、若くなりすぎない方がよい」などユーザーの理想は異なるためである。また、感情識別器であれば、例えばこの製品を身に着けることにより、喜びの評価値が増加していれば「笑顔に見えやすくなる」とか、中立と怒りの評価値が増加していれば「真面目（真剣な顔）に見えやすくなる」という具合に、評価したい製品の適合度に関する情報として伝える。
他にもユーザーの希望としては、例えば、「誠実に見える」「優しく見える」「謙虚に見える」「大人っぽく見える」「若々しく見える」「親しみやすく見える」「近寄りがたく見える」「困っているように見える」「弱弱しく見える」「強そうに見える」「しっかりして見える」「おっとりして見える」「短気に見える」「楽しそうに見える」「幸せそうに見える」「不幸そうに見える」「儚げに見える」「元気に見える」「知的に見える」「目元重視」「口元重視」といったものが考えられる。ここでも、ユーザーがどのように見られたいかという理想は、ユーザーごとに異なる。そのため、評価に当たっては事前にユーザーより、「どのように見られたいか」と言う点について希望、要望（理想）を入力してもらうために入力を促し、入力されたユーザーの理想に対する適合度を算出することがよい。
このとき、例えば年齢識別器であれば、評価値が年齢として算出され、その年齢をユーザーに対して評価したい製品の適合度に関する情報として伝える。年齢は若ければよいというものではない。ユーザーの実際の年齢、立場により理想とする見られたい年齢は異なり、「もう少し大人っぽく見られたい」とか「実際より５歳若く見られたいが、若くなりすぎない方がよい」などユーザーの理想は異なるためである。また、感情識別器であれば、例えばこの製品を身に着けることにより、喜びの評価値が増加していれば「笑顔に見えやすくなる」とか、中立と怒りの評価値が増加していれば「真面目（真剣な顔）に見えやすくなる」という具合に、評価したい製品の適合度に関する情報として伝える。
他にもユーザーの希望としては、例えば、「誠実に見える」「優しく見える」「謙虚に見える」「大人っぽく見える」「若々しく見える」「親しみやすく見える」「近寄りがたく見える」「困っているように見える」「弱弱しく見える」「強そうに見える」「しっかりして見える」「おっとりして見える」「短気に見える」「楽しそうに見える」「幸せそうに見える」「不幸そうに見える」「儚げに見える」「元気に見える」「知的に見える」「目元重視」「口元重視」といったものが考えられる。ここでも、ユーザーがどのように見られたいかという理想は、ユーザーごとに異なる。そのため、評価に当たっては事前にユーザーより、「どのように見られたいか」と言う点について希望、要望（理想）を入力してもらうために入力を促し、入力されたユーザーの理想に対する適合度を算出することがよい。
【0016】
例えば、５歳若く見られたいという希望をユーザーが持っていた場合には、第１の顔画像に対して第２の顔画像の年齢識別器の判定する年齢が５歳若くなる条件を高評価（適合度が高い）として評価値を算出する。また、例えば、「真面目（真剣な顔）に見えやすくなる」と言う希望であれば、第１の顔画像に対して第２の顔画像の感情識別器の判定する感情が中立と怒りが増えている条件を高評価（適合度が高い）として重みを与えて評価値を算出するなどするとよい。また、例えば、「なるべく変わらない」という希望が入力されたのであれば、第１の顔画像と第２の顔画像に対する感情識別器や年齢識別器の出力値の差分値の絶対値を求め、求めた絶対値の小さい第２の顔画像を高評価（適合度が高い）として評価値を算出する。
【0017】
また、第２の手段として、前記顔画像評価器は顔画像に基づいて感情を推定する感情識別器であるようにした。
感情識別器を用いることで、顔画像に表情として無意識的、意識的に表出される感情を推定し評価できることになる。ヒトは似合っているかを判断する時にどのような感情に見えるか（他人にどのような印象を与えるか）を判断材料とすることがあるため、感情識別器を用いることで評価したい製品等の適合度合いを評価できるためよい。また、感情識別器は多くの評価項目を有しており、評価したい評価項目を複数選択し、複合的に評価値を算出するなどすることにより微妙な顔の表情を評価できることになり、評価したい製品等の適合度合いをより客観的、正確に評価できることとなる。
また、第３の手段として、前記感情識別器で推定する感情の少なくとも１つは、喜びであるようにした。
感情のうち、「喜び」は人間が周囲の状況や出来事を好意的にとらえている場合等に惹起されるものであり、喜びを顔に表出させている者に対する周囲の警戒心や緊張感を和らげたり、周囲に近寄り易い印象を与えたりする。そのため、「喜び」は評価したい製品等の適合度合いと相関（関連）しやすいためよい。
また、第４の手段として、前記顔に対する適合度合いは前記喜びの評価値が大きくなると適合度合いが高いと評価するようにした。
ユーザーには、着用する製品に対して、製品を着用することで周囲の警戒心や緊張感を和らげたり、周囲に近寄り易い印象を与えたりし易くなると良いと期待する人が多いため、喜びの評価値が大きくなると適合度合いが高いと評価することで、そのようなユーザーの期待に沿った評価ができるようになる。
また、第５の手段として、前記感情識別器で推定する感情の少なくとも１つは、嫌悪であるようにした。
感情のうち、「喜び」と並んで「嫌悪」は大きく表情が変わる評価項目であり、「嫌悪」は人間の表情としてもっとも普遍的に表れ、嫌悪した場合には表情も大きく変化するため、評価値を算出する評価項目として変化がわかりやすい「嫌悪」を用いることがよいためである。また、「嫌悪」は人間が周囲の状況や出来事を否定的にとらえている場合等に惹起される感情であり、嫌悪を顔に表出させている者に対する周囲の緊張感を高めたり、近寄り難い印象を与えたりすることがある。そのため、「嫌悪」は評価したい製品等の適合度合いと相関（関連）しやすいため評価項目としてよい。
また、第６の手段として、前記顔に対する適合度合いは前記嫌悪の評価値が大きくなると適合度合いが低いと評価するようにした。
ユーザーには、着用する製品に対して、製品を着用することで周囲の緊張感を高めたり、近寄り難い印象を与えたりするのは好ましくないと考える人がいる。嫌悪の評価値が大きくなると適合度合いが低いと評価することで、そのようなユーザーの考えに沿った評価ができるようになる。
また、第７の手段として、前記感情識別器で推定する感情の少なくとも１つは、困惑であるようにした。
「困惑」は人間が周囲の状況や出来事の受け入れに苦慮している場合等に惹起される感情であり、困惑を顔に表出させている者に対する周囲の心配を高めたり、状況の再確認を促したりすることがある。そのため、「困惑」は評価したい製品等の適合度合いと相関（関連）しやすいため評価項目としてよい。
また、第８の手段として、前記感情識別器で推定する感情の少なくとも１つは、中立であるようにした。
「中立」とは特定の感情によっていないニュートラルな感情のことである。「中立」は、感情に大きな変化がないということであるため、感情識別器で推定する感情のベースとして評価項目として用いることは大きな変化がある場合との比較において重要である。また、中立は、人間が周囲の状況や出来事の影響を受けていないことを示す感情であり、中立の顔の者に対する周囲の印象をそのまま継続させたり、安心感や信頼感を高めたりすることがある。そのため、「中立」は評価したい製品等の適合度合いと相関（関連）しやすいことがあるため評価項目としてよい。
感情識別器を用いることで、顔画像に表情として無意識的、意識的に表出される感情を推定し評価できることになる。ヒトは似合っているかを判断する時にどのような感情に見えるか（他人にどのような印象を与えるか）を判断材料とすることがあるため、感情識別器を用いることで評価したい製品等の適合度合いを評価できるためよい。また、感情識別器は多くの評価項目を有しており、評価したい評価項目を複数選択し、複合的に評価値を算出するなどすることにより微妙な顔の表情を評価できることになり、評価したい製品等の適合度合いをより客観的、正確に評価できることとなる。
また、第３の手段として、前記感情識別器で推定する感情の少なくとも１つは、喜びであるようにした。
感情のうち、「喜び」は人間が周囲の状況や出来事を好意的にとらえている場合等に惹起されるものであり、喜びを顔に表出させている者に対する周囲の警戒心や緊張感を和らげたり、周囲に近寄り易い印象を与えたりする。そのため、「喜び」は評価したい製品等の適合度合いと相関（関連）しやすいためよい。
また、第４の手段として、前記顔に対する適合度合いは前記喜びの評価値が大きくなると適合度合いが高いと評価するようにした。
ユーザーには、着用する製品に対して、製品を着用することで周囲の警戒心や緊張感を和らげたり、周囲に近寄り易い印象を与えたりし易くなると良いと期待する人が多いため、喜びの評価値が大きくなると適合度合いが高いと評価することで、そのようなユーザーの期待に沿った評価ができるようになる。
また、第５の手段として、前記感情識別器で推定する感情の少なくとも１つは、嫌悪であるようにした。
感情のうち、「喜び」と並んで「嫌悪」は大きく表情が変わる評価項目であり、「嫌悪」は人間の表情としてもっとも普遍的に表れ、嫌悪した場合には表情も大きく変化するため、評価値を算出する評価項目として変化がわかりやすい「嫌悪」を用いることがよいためである。また、「嫌悪」は人間が周囲の状況や出来事を否定的にとらえている場合等に惹起される感情であり、嫌悪を顔に表出させている者に対する周囲の緊張感を高めたり、近寄り難い印象を与えたりすることがある。そのため、「嫌悪」は評価したい製品等の適合度合いと相関（関連）しやすいため評価項目としてよい。
また、第６の手段として、前記顔に対する適合度合いは前記嫌悪の評価値が大きくなると適合度合いが低いと評価するようにした。
ユーザーには、着用する製品に対して、製品を着用することで周囲の緊張感を高めたり、近寄り難い印象を与えたりするのは好ましくないと考える人がいる。嫌悪の評価値が大きくなると適合度合いが低いと評価することで、そのようなユーザーの考えに沿った評価ができるようになる。
また、第７の手段として、前記感情識別器で推定する感情の少なくとも１つは、困惑であるようにした。
「困惑」は人間が周囲の状況や出来事の受け入れに苦慮している場合等に惹起される感情であり、困惑を顔に表出させている者に対する周囲の心配を高めたり、状況の再確認を促したりすることがある。そのため、「困惑」は評価したい製品等の適合度合いと相関（関連）しやすいため評価項目としてよい。
また、第８の手段として、前記感情識別器で推定する感情の少なくとも１つは、中立であるようにした。
「中立」とは特定の感情によっていないニュートラルな感情のことである。「中立」は、感情に大きな変化がないということであるため、感情識別器で推定する感情のベースとして評価項目として用いることは大きな変化がある場合との比較において重要である。また、中立は、人間が周囲の状況や出来事の影響を受けていないことを示す感情であり、中立の顔の者に対する周囲の印象をそのまま継続させたり、安心感や信頼感を高めたりすることがある。そのため、「中立」は評価したい製品等の適合度合いと相関（関連）しやすいことがあるため評価項目としてよい。
【0018】
また、第９の手段として、前記顔画像評価器は顔画像に基づいて年齢を推定する年齢識別器であるようにした。
評価したい製品等の適合度合いを評価する時、年齢は重要な評価項目であり、どのように見られるかについてユーザーの関心も高い評価項目である。前記顔画像評価器として年齢識別器を用いれば製品を装着することで他者に推定させる年齢がどう変化するかを客観的に評価できる。製品を装着することで年齢の印象を変えることは、たとえば、年齢が高いと推定させることでその年月分の経験を積んでいると推測させ信頼感を得たり、年齢が低いと推定することで体力が有り余っていると推測させ多くの仕事を任せてもらえたりするなどといったユーザーの希望に沿うことができるようになる。
また、第１０の手段として、前記顔画像評価器は顔画像に基づいて性別を推定する性別識別器であるようにした。
記顔画像評価器として性別識別器を用いれば製品を装着することで他者に推定させる性別を客観的に評価できることとなる。性別識別器による性別は男性、女性を統計的に判別するだけではなく、どれぐらい男性的か、どれぐらい女性的かを判別することがよい。例えば、より男性的に見られたい、中性的に見られたい、より女性的に見られたい、というユーザーの要望に沿った評価が可能になる。
また、第１１の手段として、前記ユーザーの見られ方に対する要求を取得する手段を有し、前記要求からユーザーに適合する目標評価値を算出し、前記第１の評価値と前記第２の評価値とから算出した評価値と、前記目標評価値とを比較することにより前記ユーザーの顔に対する適合度合いを算出するようにした。
これによって、ユーザーが他人からどのように見られたいか、という要求に応じた最適な装飾品又は日用品、もしくは化粧又は髪型を客観的に提供することができる。
「ユーザーの見られ方に対する要求」は、例えば「５歳若く見られたい」とか「知的に見られたい」とか「誠実にみられたい」とか「女性的に見られたい」というような顔画像評価器で評価できる要求である。また、「要求を取得する手段」は、例えばユーザーが例えばコンピュータ装置に併設されたモニター画面を目視して、要求の選択肢が書かれたボタンやリストから、マウスでポインタを操作またはタッチパネル等を用いて選択する入力手段で要求を入力したり、入力をする店員等に文書あるいは口頭で要求を伝え、作業者がそれを入力するような場合である。
入力された要求から目標値を算出する方法は、予め設定しておくことがよい。例えば「５歳若く見られたい」という要求に対しては、年齢識別器で評価した前記第１の評価値と前記第２の評価値の差分値を評価値として、目標評価値である－５歳を比較し、評価値と目標評価値の差が小さいほど適応度合いが高いと評価するなどするとよい。感情識別器、性別識別器の算出する評価値についても、同様にユーザーからの要求に応じてどのように目標評価値を設定するかを予めルール化しておくことがよい。
また、第１２の手段として、前記第１の顔画像は、前記装飾品、前記日用品及び前記化粧を装着していない様子を撮影したものであるようにした。
これによりユーザーの素顔もしくは普段の顔、表情に対する評価したい製品等の適合度合いを評価できることとなるためよい。
また、第１３の手段として、前記第１の顔画像は前記ユーザー側で撮影し通信手段で送られた撮影画像データに基づくものであるようにした。
第１の顔画像をユーザー側で撮影し、かつ通信手段で送ることができれば、ユーザーの写真を、例えば装飾品又は日用品、もしくは化粧又は髪型を提供する店側で取り込む必要がなく、手間が省けることとなる。また、ユーザーが装飾品又は日用品、もしくは化粧又は髪型を提供する店に実際に来店することなく第１の顔画像を取得でき、ユーザーの時間や移動の制約を無くすことができる。第１の顔画像の取得は評価時に限らず、以前に撮影したものであってもよい。例えば、旅行先で撮影した自然な表情など、ユーザーがお気に入りの表情の顔画像を第１の顔画像とすることで、より算出される適合度合いがユーザーの要望に沿ったものになる。
また、第１４の手段として、前記ユーザーの適合度合いは、前記ユーザーの顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型の２つ以上に基づいて評価するようにした。
装飾品又は日用品、もしくは化粧又は髪型は複数が組み合わされることも多いため、適合度合いとしてはこのように複数を組み合わせた場合も評価できるとよりユーザーの普段の生活に近い評価ができることとなり意味がある。このような評価は、顔画像評価器を使うことにより可能になる。それは、前記顔画像評価器は、顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のうちどれか1つに対して学習したものではないため、２つ以上を組み合わせて評価する場合でも新たな識別器を作成したり調整する必要なく評価することが可能であるためである。
また、第１５の手段として、前記装飾品又は前記日用品は眼鏡であるようにした。
顔の印象（見られ方）にとって目は重要であるが、眼鏡はその目の付近にくる装飾品であり日用品であるため、眼鏡について評価する意義がユーザーにとって特に高いためである。また、眼鏡のデザインは多岐にわたり、ユーザーが自身に似合うかどうかを多くの眼鏡で一度に比較するのは評価中に迷うことになったり、時間的な手間も多くなるため、眼鏡に対して適応度合いを算出して評価値を算出する価値は大きい。
評価したい製品等の適合度合いを評価する時、年齢は重要な評価項目であり、どのように見られるかについてユーザーの関心も高い評価項目である。前記顔画像評価器として年齢識別器を用いれば製品を装着することで他者に推定させる年齢がどう変化するかを客観的に評価できる。製品を装着することで年齢の印象を変えることは、たとえば、年齢が高いと推定させることでその年月分の経験を積んでいると推測させ信頼感を得たり、年齢が低いと推定することで体力が有り余っていると推測させ多くの仕事を任せてもらえたりするなどといったユーザーの希望に沿うことができるようになる。
また、第１０の手段として、前記顔画像評価器は顔画像に基づいて性別を推定する性別識別器であるようにした。
記顔画像評価器として性別識別器を用いれば製品を装着することで他者に推定させる性別を客観的に評価できることとなる。性別識別器による性別は男性、女性を統計的に判別するだけではなく、どれぐらい男性的か、どれぐらい女性的かを判別することがよい。例えば、より男性的に見られたい、中性的に見られたい、より女性的に見られたい、というユーザーの要望に沿った評価が可能になる。
また、第１１の手段として、前記ユーザーの見られ方に対する要求を取得する手段を有し、前記要求からユーザーに適合する目標評価値を算出し、前記第１の評価値と前記第２の評価値とから算出した評価値と、前記目標評価値とを比較することにより前記ユーザーの顔に対する適合度合いを算出するようにした。
これによって、ユーザーが他人からどのように見られたいか、という要求に応じた最適な装飾品又は日用品、もしくは化粧又は髪型を客観的に提供することができる。
「ユーザーの見られ方に対する要求」は、例えば「５歳若く見られたい」とか「知的に見られたい」とか「誠実にみられたい」とか「女性的に見られたい」というような顔画像評価器で評価できる要求である。また、「要求を取得する手段」は、例えばユーザーが例えばコンピュータ装置に併設されたモニター画面を目視して、要求の選択肢が書かれたボタンやリストから、マウスでポインタを操作またはタッチパネル等を用いて選択する入力手段で要求を入力したり、入力をする店員等に文書あるいは口頭で要求を伝え、作業者がそれを入力するような場合である。
入力された要求から目標値を算出する方法は、予め設定しておくことがよい。例えば「５歳若く見られたい」という要求に対しては、年齢識別器で評価した前記第１の評価値と前記第２の評価値の差分値を評価値として、目標評価値である－５歳を比較し、評価値と目標評価値の差が小さいほど適応度合いが高いと評価するなどするとよい。感情識別器、性別識別器の算出する評価値についても、同様にユーザーからの要求に応じてどのように目標評価値を設定するかを予めルール化しておくことがよい。
また、第１２の手段として、前記第１の顔画像は、前記装飾品、前記日用品及び前記化粧を装着していない様子を撮影したものであるようにした。
これによりユーザーの素顔もしくは普段の顔、表情に対する評価したい製品等の適合度合いを評価できることとなるためよい。
また、第１３の手段として、前記第１の顔画像は前記ユーザー側で撮影し通信手段で送られた撮影画像データに基づくものであるようにした。
第１の顔画像をユーザー側で撮影し、かつ通信手段で送ることができれば、ユーザーの写真を、例えば装飾品又は日用品、もしくは化粧又は髪型を提供する店側で取り込む必要がなく、手間が省けることとなる。また、ユーザーが装飾品又は日用品、もしくは化粧又は髪型を提供する店に実際に来店することなく第１の顔画像を取得でき、ユーザーの時間や移動の制約を無くすことができる。第１の顔画像の取得は評価時に限らず、以前に撮影したものであってもよい。例えば、旅行先で撮影した自然な表情など、ユーザーがお気に入りの表情の顔画像を第１の顔画像とすることで、より算出される適合度合いがユーザーの要望に沿ったものになる。
また、第１４の手段として、前記ユーザーの適合度合いは、前記ユーザーの顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型の２つ以上に基づいて評価するようにした。
装飾品又は日用品、もしくは化粧又は髪型は複数が組み合わされることも多いため、適合度合いとしてはこのように複数を組み合わせた場合も評価できるとよりユーザーの普段の生活に近い評価ができることとなり意味がある。このような評価は、顔画像評価器を使うことにより可能になる。それは、前記顔画像評価器は、顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のうちどれか1つに対して学習したものではないため、２つ以上を組み合わせて評価する場合でも新たな識別器を作成したり調整する必要なく評価することが可能であるためである。
また、第１５の手段として、前記装飾品又は前記日用品は眼鏡であるようにした。
顔の印象（見られ方）にとって目は重要であるが、眼鏡はその目の付近にくる装飾品であり日用品であるため、眼鏡について評価する意義がユーザーにとって特に高いためである。また、眼鏡のデザインは多岐にわたり、ユーザーが自身に似合うかどうかを多くの眼鏡で一度に比較するのは評価中に迷うことになったり、時間的な手間も多くなるため、眼鏡に対して適応度合いを算出して評価値を算出する価値は大きい。
【0019】
また、第１６の手段として、ユーザーの顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型の前記ユーザーの顔に対する適合度合いを評価するコンピュータ装置を使用したシステムであって、第１の顔画像を取得する第１の手段と、前記装飾品、前記日用品、前記化粧及び前記髪型の少なくとも１つの画像を前記第１の顔画像に合成して第２の顔画像を作成する第２の手段と、前記第１の手段で得られた前記第１の顔画像の第１の評価値を算出する第３の手段と、前記第２の手段で得られた前記第２の顔画像の第２の評価値を算出する第４の手段とを有し、前記第３の手段によって得られた前記第１の評価値と、前記第４の手段によって得られた前記第２の評価値とから前記ユーザーの顔に対する適合度合いを算出する第５の手段とを有するようにした。
第１６の手段は第１の手段を物の発明としてクレームしたものである。
これによって、都度算出した装飾品又は日用品、もしくは化粧又は髪型等についての適合度合いに基づいて似合っているかどうかを客観的に評価するシステムを提供することが可能となる。
「第１の手段」は、例えばカメラ等の撮像装置がよい。撮像装置で取得した画像はデジタル的な顔画像データであってもよく、プリントアウトした写真のような印刷したものでも、映像的にモニター画面に表示させるものでもよい。インターネット等の通信手段を通じて顔画像のデータを送信してもよい。
「第２の手段」は、すでに取り込んだ第１の顔画像に装飾品等の画像を合成する手段であり、画像合成プログラムに基づくコンピュータ装置の制御手段である。
「第３の手段」は評価値を算出できる装置であって、例えば顔画像評価器である。
「第４の手段」は評価値を算出できる装置であって、例えば顔画像評価器である。第３の手段と第４の手段が同じであってもよい。
「第５の手段」は適合度合いを算出するためのプログラムに基づくコンピュータ装置の制御手段である。
第１６の手段は第１の手段を物の発明としてクレームしたものである。
これによって、都度算出した装飾品又は日用品、もしくは化粧又は髪型等についての適合度合いに基づいて似合っているかどうかを客観的に評価するシステムを提供することが可能となる。
「第１の手段」は、例えばカメラ等の撮像装置がよい。撮像装置で取得した画像はデジタル的な顔画像データであってもよく、プリントアウトした写真のような印刷したものでも、映像的にモニター画面に表示させるものでもよい。インターネット等の通信手段を通じて顔画像のデータを送信してもよい。
「第２の手段」は、すでに取り込んだ第１の顔画像に装飾品等の画像を合成する手段であり、画像合成プログラムに基づくコンピュータ装置の制御手段である。
「第３の手段」は評価値を算出できる装置であって、例えば顔画像評価器である。
「第４の手段」は評価値を算出できる装置であって、例えば顔画像評価器である。第３の手段と第４の手段が同じであってもよい。
「第５の手段」は適合度合いを算出するためのプログラムに基づくコンピュータ装置の制御手段である。
【0020】
また、第１７の手段として、前記ユーザーの顔に対する適合度合いに関する情報を表示する表示手段を備えるようにした。
このように表示手段を備えることで、第１の顔画像や第２の顔画像、第１の評価値や第２の評価値、ユーザーの顔に対する適合度合いや、適合度合いの高い製品のユーザーや店員等への提示、適合度合いの算出の過程の提示などを行うことができ、ユーザーの満足感や納得感を高めることができることになる。
また、第１８の手段として、前記ユーザーに対し前記第１の評価値、前記第２の評価値及び前記第１の評価値と前記第２の評価値から算出した評価値の２つ以上を表示する表示手段を備えるようにした。
ユーザーに評価値に関する情報を提示することで、装飾品又は日用品を装用したり化粧又は髪型を変えたりすることによる変化を客観的に、かつ直ちに認識することができるようになり、ユーザーの納得感を高める検討の補助手段を提供できるからである。
また、第１９の手段として、前記ユーザーの要求を入力する入力手段を備えるようにした。
このようにすることで、ユーザーの要求に沿った適合度を算出するシステムを提供できることになるためである。入力手段入力するのはユーザーがどのように見られたいかという要求だけでなく、例えば、第２の画像に合成する製品等の位置の調整に関するユーザーの要求や、ユーザーが評価したい製品等を選択する要求などを含んでもよい。
また、第２０の手段として、第１６の手段～第１９の手段のいずれかのシステムによって得られた前記適合度合いに基づいて前記ユーザーに対し前記ユーザーに適合する前記装飾品、前記日用品、前記化粧及び前記髪型の少なくとも１つの情報を提示することを特徴とする推奨システムであるようにした。
上記のシステムによってユーザーに適合する装飾品又は日用品、もしくは化粧又は髪型を提示することで、ユーザーはその適合するとされた飾品又は日用品、もしくは化粧又は髪型を検討することができる。
このように表示手段を備えることで、第１の顔画像や第２の顔画像、第１の評価値や第２の評価値、ユーザーの顔に対する適合度合いや、適合度合いの高い製品のユーザーや店員等への提示、適合度合いの算出の過程の提示などを行うことができ、ユーザーの満足感や納得感を高めることができることになる。
また、第１８の手段として、前記ユーザーに対し前記第１の評価値、前記第２の評価値及び前記第１の評価値と前記第２の評価値から算出した評価値の２つ以上を表示する表示手段を備えるようにした。
ユーザーに評価値に関する情報を提示することで、装飾品又は日用品を装用したり化粧又は髪型を変えたりすることによる変化を客観的に、かつ直ちに認識することができるようになり、ユーザーの納得感を高める検討の補助手段を提供できるからである。
また、第１９の手段として、前記ユーザーの要求を入力する入力手段を備えるようにした。
このようにすることで、ユーザーの要求に沿った適合度を算出するシステムを提供できることになるためである。入力手段入力するのはユーザーがどのように見られたいかという要求だけでなく、例えば、第２の画像に合成する製品等の位置の調整に関するユーザーの要求や、ユーザーが評価したい製品等を選択する要求などを含んでもよい。
また、第２０の手段として、第１６の手段～第１９の手段のいずれかのシステムによって得られた前記適合度合いに基づいて前記ユーザーに対し前記ユーザーに適合する前記装飾品、前記日用品、前記化粧及び前記髪型の少なくとも１つの情報を提示することを特徴とする推奨システムであるようにした。
上記のシステムによってユーザーに適合する装飾品又は日用品、もしくは化粧又は髪型を提示することで、ユーザーはその適合するとされた飾品又は日用品、もしくは化粧又は髪型を検討することができる。
【0021】
また、第２１の手段として、ユーザーの顔に適合する眼鏡のコンピュータ装置を使用した設計システムであって、第１の顔画像を取得する第１の手段と、複数の評価したい眼鏡の画像を前記第１の顔画像に合成して第２の顔画像を複数作成する第２の手段と、前記第１の手段で得られた前記第１の顔画像の第１の評価値を算出する第３の手段と、前記第２の手段で得られた前記第２の顔画像の複数の第２の評価値を算出する第４の手段とを有し、前記第３の手段によって得られた前記第１の評価値と、前記第４の手段によって得られた複数の前記第２の評価値とから複数の前記評価したい眼鏡についての前記ユーザーの顔に対する適合度合いを算出する第５の手段とを有し、前記第５の手段において得られた複数の適合度合いに基づいて最も適合度合いの高い眼鏡を前記ユーザーの顔に適合する眼鏡として設計するようにした。
これによって、都度算出した適合度合いに基づいてもっとも似合っている眼鏡画像に基づいて実際の眼鏡を設計することが可能となる。眼鏡を設計するとは、眼鏡フレームの例えば「リム」、「テンプル」、「ブリッジ」、「ヨロイ」、「ヒンジ」、「鼻パッド」等の形状をデザインし決定することである。また、眼鏡レンズに色をつけるなどすることで皺などが目立たなくなり、眼鏡レンズにレンズ度数がついている場合には、眼鏡レンズを通して見える目の大きさや皺などが変化する。すなわち、眼鏡レンズによっても顔の特徴点は変化することになるため、第２の顔画像作成時に度数のついている眼鏡レンズや、色のついている眼鏡レンズのついている眼鏡を評価したい眼鏡としてもよい。
「第１の手段」～「第５の手段」は第１５の手段と同じである。
また、第２２の手段として、複数の前記評価したい眼鏡の画像は、コンピューターシミュレーションにより仮想的に作成されるようにした。
コンピューターシミュレーションにより仮想的に作成することで、第１の顔画像に対して多数の種類の評価したい眼鏡の画像を合成することができることとなり、ユーザーや眼鏡の設計者が思いつかないようなデザインのフレームや、思いつかないような色のレンズについても評価し、最も適合度合いの高い眼鏡をユーザーに対して提供できることとなる。
これによって、都度算出した適合度合いに基づいてもっとも似合っている眼鏡画像に基づいて実際の眼鏡を設計することが可能となる。眼鏡を設計するとは、眼鏡フレームの例えば「リム」、「テンプル」、「ブリッジ」、「ヨロイ」、「ヒンジ」、「鼻パッド」等の形状をデザインし決定することである。また、眼鏡レンズに色をつけるなどすることで皺などが目立たなくなり、眼鏡レンズにレンズ度数がついている場合には、眼鏡レンズを通して見える目の大きさや皺などが変化する。すなわち、眼鏡レンズによっても顔の特徴点は変化することになるため、第２の顔画像作成時に度数のついている眼鏡レンズや、色のついている眼鏡レンズのついている眼鏡を評価したい眼鏡としてもよい。
「第１の手段」～「第５の手段」は第１５の手段と同じである。
また、第２２の手段として、複数の前記評価したい眼鏡の画像は、コンピューターシミュレーションにより仮想的に作成されるようにした。
コンピューターシミュレーションにより仮想的に作成することで、第１の顔画像に対して多数の種類の評価したい眼鏡の画像を合成することができることとなり、ユーザーや眼鏡の設計者が思いつかないようなデザインのフレームや、思いつかないような色のレンズについても評価し、最も適合度合いの高い眼鏡をユーザーに対して提供できることとなる。
【0022】
また、第２３の手段として、ユーザーの顔に適合するコンピュータ装置を使用した眼鏡の設計システムであって、第１の顔画像を取得する第１の手段と、複数の評価したい眼鏡フレームの画像を前記第１の顔画像に合成して第２の顔画像を複数作成する第２の手段と、前記第１の顔画像の第１の評価値を算出する第３の手段と、前記第２の顔画像の複数の第２の評価値を算出する第４の手段とを有し、前記第３の手段によって得られた前記第１の顔画像評価値と、前記第４の手段によって得られた前記複数の第２の顔画像評価値から複数の前記複数の評価したい眼鏡についての前記ユーザーの顔に対する適合度合いを算出し、複数の前記第２の顔画像において前記眼鏡フレームと前記ユーザーの顔が重なる座標群を算出し、前記座標群と前記適合度合いの組み合わせとから、前記ユーザーの顔に対する適合度合いを向上又は低下させる座標群を算出する第５の手段とを有し、前記第５の手段において得られた前記座標群を用いて前記ユーザーの顔に適合する眼鏡を設計するようにした。
第５の手段のように、前記座標群と前記適合度合いの組み合わせとから、前記ユーザーの顔に対する適合度合いを向上又は低下させる座標群を算出することで、適合度合いに関する顔画像評価器の特徴量のうち、評価したい評価項目に対して特に重要な特徴点（座標群）を算出できることとなる。そして、この第５の手段で算出した座標群は、前記ユーザーの顔に対する適合度合いを向上又は低下させることと関連付けられているため、その座標群の上を眼鏡レンズのフレームが通ったり、または、その座標群を避けて眼鏡レンズのフレームが通ったりした時に、その眼鏡フレームの顔画像に対する適合度合いがどのようになるか予測できることになるため、前記座標群を用いてユーザーの顔に適合する眼鏡を設計することができるようになる。また、その座標群を通る眼鏡の選択肢を示すなど、複数の推奨する眼鏡の設計をユーザーに提示できることになる。
また、第２４の手段として、前記顔画像評価器は感情識別器であり、前記感情識別器はポジティブな感情を識別し、前記ポジティブな感情と前記ユーザーの要望するポジティブな感情が一致する場合に適合度合いが高いと評価して設計するようにした。
このようにすることで、ユーザーのポジティブな感情に適合した眼鏡を設計できることになる。ポジティブな感情とは、喜び、幸せなどである。
また、第２５の手段として、前記顔画像評価器は感情識別器であり、前記感情識別器はネガティブな感情を識別し、前記ネガティブな感情と前記ユーザーの要望するネガティブな感情が一致する場合に適合度合いが高いと設計するようにした。
このようにすることで、ユーザーのネガティブな感情に適合した眼鏡を設計できることになる。ネガティブな感情とは、困惑、嫌悪、悲しみなどである。通常は、ポジティブな感情を評価の目標値にして製品設計を行う方法が考えられるが、ネガティブな感情はポジティブな感情よりも計測しやすいことがある。そこで、ネガティブな感情を目標として設計することでポジティブな感情を設計目標に近づけられることが期待できることになるためよい。
また、第２６の手段として、前記顔画像評価器は感情識別器であり、ユーザーの要望する感情と反対となる感情の場合に適合度合いが低いと評価し設計するようにした。
ユーザーの要望に対して、ユーザーの要望する感情をそのまま評価しにくいことがある。そのような場合には、ユーザーの要望する感情と反対の感情を評価し、適合度合いを評価すことで、適合度合いの評価の精度を高くすることができる。
また、第２７の手段として、ユーザーの顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型の前記ユーザーの顔に対する適合度合いを評価する方法であって、前記第２の顔画像を前記ユーザーまたは前記ユーザー以外の評価者に提示し、前記第２の顔画像を見た際の前記ユーザーまたは前記ユーザー以外の評価者の顔画像を第３の顔画像として取得し、前記第３の顔画像を顔画像評価器で評価して前記第３の顔画像の評価値としての第３の評価値を算出し、前記第３の評価値から前記ユーザーの顔に対する適合度合いを算出するようにした。
「第３の顔画像」は、ユーザーまたはユーザー以外の評価者に対して、第２の顔画像（すなわち、購入検討しているユーザーの顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型等を装用しているユーザーの顔画像）を提示した際の顔画像をカメラ等で撮影して取得したものである。第３の顔画像は静止画として記録しても、動画として記録してもよい。この第３の顔画像を顔画像評価器で評価し第３の評価値を得ることで、第３の顔画像を介して第２の顔画像を見た際に披撮影者（ユーザーまたはユーザー以外の評価者）がどのように感じたのかを評価できることとなる。このとき、披撮影者がユーザーの場合には、ユーザー本人が購入検討している装飾品や日用品等を着けている自分を見た時にどのように感じたのかを評価値として得ることができることになる。また、披撮影者がユーザー以外の場合には、ユーザーが装着等している様子を第３者が見た際にどのように感じたのかを評価値として得ることが出来ることになる。「ユーザー以外の評価者」は、例えば、ユーザーの友人や家族など、一緒に店舗を訪れる人や店員であることが好ましい。第３の画像は店舗にてユーザーと一種に見ている様子を撮影してもよいが、インターネットやテレビ電話等の通信手段を介して離れた場所にて第２の画像を見ている様子を撮影したものであってもよい。カメラは、ＰＣやタブレット等に付属されたものでもよく、カメラのみの機能を単独で独立していてもよい。第３の顔画像を取得するためのカメラの位置は、被撮影者（ユーザーまたはユーザー以外の評価者）の正面、斜め方向、真横等のいずれの方向からでもよい。正面であれば顔画像評価器での評価が容易となり、斜め方向や真横の場合には、被撮影者にカメラの存在を意識させずに自然な表情を取得することが可能となる。顔画像評価器は、特に、表情識別器を用いることがよい。ユーザーの顔に対する適合度合いは第１の評価値と第２の評価値に加えて第３の評価値より算出されることがよい。第1の評価値と第２の評価値は、顔画像評価器を用いて算出しているため、多くの他人（不特定多数）がどのように感じたかを反映している。第３の顔画像による第３の評価値は、多くの他人ではなく、特定の他人や自分（ユーザーの知人や家族等またはユーザー本人）がどのように感じたのかを反映している。ユーザーの中には、不特定多数の人よりも、特定の人物からどのように見られるかを重要視したい者もいるため、第３の評価値を用いることで、特定の人がどのように感じたのかを評価値に反映できる事になるためよい。ユーザーの中には、自分や特定の他人がどのように感じるかが重要である人から、不特定多数の多くの他人がどのように感じたのかを重要に感じる人もいる。そのような価値観はユーザーごとに異なるため、予め、ユーザーの判断基準をシステムに入力する手段があるとよい。例えば、特定、不特定の割合を入力するなどするとよい。第３の顔画像は、複数の第２の顔画像を順番に提示するなどすることにより複数取得し、複数の第３の顔画像の評価値としての第３の評価値を複数得て、複数の第３の評価値を比較することがよい。そのようにすることで複数の購入検討候補について被撮影者がどのように感じたのかを取得し、ユーザーに提示することが出来ることとなる。
また、第２８の手段として、顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のユーザーの顔に対する適合度合いを評価するシステムであって、前記第２の顔画像を前記ユーザーまたは前記ユーザー以外の評価者に提示する表示手段と、前記第２の顔画像を見た際の前記ユーザーまたは前記ユーザー以外の評価者の顔画像を第３の顔画像として取得する第６の手段と、前記第３の顔画像を顔画像評価器で評価して前記第３の顔画像の評価値としての第３の評価値を算出する第７の手段を備えるようにした。
第２８の手段は第２７の手段を実現するシステム構成である。第２１の手段のシステムに加え、第２の顔画像をユーザーまたはユーザー以外の評価者に提示する「表示手段」と、第３の顔画像を取得するための撮像手段等（カメラ・ビデオカメラ等）の「第６の手段」、第３の評価値を算出する「第７の手段」を備えることにより、第２の顔画像を見たときにユーザーまたはユーザー以外の評価者がどのように感じたか、すなわち、例えばユーザーが評価したい装飾品や日用品等を装着等している時の様子が似合っているかを客観的に計測できることになる。
また、第２９の手段として、眼鏡の設計システムであって、複数の前記第２の顔画像を前記ユーザーまたは前記ユーザー以外の評価者に提示する表示手段と、複数の前記第２の顔画像を見た際の前記ユーザーまたは前記ユーザー以外の評価者の顔画像を複数の第３の顔画像として取得する第６の手段と、前記複数の第３の顔画像を顔画像評価器で評価して前記複数の第３の顔画像の評価値としての複数の第３の評価値を算出する第７の手段を備えるようにした。
このようにすることで、不特定多数がどのように感じたかの評価だけではなく、特定の人（例えばユーザーやユーザーの知人・家族・店員等）がどのように感じたのかを反映した眼鏡の設計システムを提供できることとなる。ここで、ユーザーには特定の人や自分がどのように感じたかが重要と感じる価値観と、不特定多数の人がどのように感じたのかが重要と感じる価値観があるため、予めシステムはユーザーの価値観を入力する入力手段を備えるとよい。第３の評価値を用いることで前記第２１～第２３の手段によって設計された眼鏡の中からユーザーが好むものを選択的に推奨できる他、前記第２１～第２３の手段によって設計された眼鏡の中には、他の眼鏡と比べてあまりにも奇抜なデザインのものが含まれている場合や、同じデザインのものを装用している人物がユーザーの身近にいるため避けたいデザインが含まれているといった場合に、選択肢から効率的に除くこともできる。
上述した第１～第２９の手段の各発明は、任意に組み合わせることができる。特に、第１の手段の構成、第１６の手段、第２１の手段、又は第２３の手段、を備えて、それら以外の他の上記手段の各発明の少なくともいずれか１つの構成との組み合わせを備えるとよい。第１～第２９の手段の各発明の任意の構成要素を抽出し、他の構成要素と組み合わせてもよい。
第５の手段のように、前記座標群と前記適合度合いの組み合わせとから、前記ユーザーの顔に対する適合度合いを向上又は低下させる座標群を算出することで、適合度合いに関する顔画像評価器の特徴量のうち、評価したい評価項目に対して特に重要な特徴点（座標群）を算出できることとなる。そして、この第５の手段で算出した座標群は、前記ユーザーの顔に対する適合度合いを向上又は低下させることと関連付けられているため、その座標群の上を眼鏡レンズのフレームが通ったり、または、その座標群を避けて眼鏡レンズのフレームが通ったりした時に、その眼鏡フレームの顔画像に対する適合度合いがどのようになるか予測できることになるため、前記座標群を用いてユーザーの顔に適合する眼鏡を設計することができるようになる。また、その座標群を通る眼鏡の選択肢を示すなど、複数の推奨する眼鏡の設計をユーザーに提示できることになる。
また、第２４の手段として、前記顔画像評価器は感情識別器であり、前記感情識別器はポジティブな感情を識別し、前記ポジティブな感情と前記ユーザーの要望するポジティブな感情が一致する場合に適合度合いが高いと評価して設計するようにした。
このようにすることで、ユーザーのポジティブな感情に適合した眼鏡を設計できることになる。ポジティブな感情とは、喜び、幸せなどである。
また、第２５の手段として、前記顔画像評価器は感情識別器であり、前記感情識別器はネガティブな感情を識別し、前記ネガティブな感情と前記ユーザーの要望するネガティブな感情が一致する場合に適合度合いが高いと設計するようにした。
このようにすることで、ユーザーのネガティブな感情に適合した眼鏡を設計できることになる。ネガティブな感情とは、困惑、嫌悪、悲しみなどである。通常は、ポジティブな感情を評価の目標値にして製品設計を行う方法が考えられるが、ネガティブな感情はポジティブな感情よりも計測しやすいことがある。そこで、ネガティブな感情を目標として設計することでポジティブな感情を設計目標に近づけられることが期待できることになるためよい。
また、第２６の手段として、前記顔画像評価器は感情識別器であり、ユーザーの要望する感情と反対となる感情の場合に適合度合いが低いと評価し設計するようにした。
ユーザーの要望に対して、ユーザーの要望する感情をそのまま評価しにくいことがある。そのような場合には、ユーザーの要望する感情と反対の感情を評価し、適合度合いを評価すことで、適合度合いの評価の精度を高くすることができる。
また、第２７の手段として、ユーザーの顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型の前記ユーザーの顔に対する適合度合いを評価する方法であって、前記第２の顔画像を前記ユーザーまたは前記ユーザー以外の評価者に提示し、前記第２の顔画像を見た際の前記ユーザーまたは前記ユーザー以外の評価者の顔画像を第３の顔画像として取得し、前記第３の顔画像を顔画像評価器で評価して前記第３の顔画像の評価値としての第３の評価値を算出し、前記第３の評価値から前記ユーザーの顔に対する適合度合いを算出するようにした。
「第３の顔画像」は、ユーザーまたはユーザー以外の評価者に対して、第２の顔画像（すなわち、購入検討しているユーザーの顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型等を装用しているユーザーの顔画像）を提示した際の顔画像をカメラ等で撮影して取得したものである。第３の顔画像は静止画として記録しても、動画として記録してもよい。この第３の顔画像を顔画像評価器で評価し第３の評価値を得ることで、第３の顔画像を介して第２の顔画像を見た際に披撮影者（ユーザーまたはユーザー以外の評価者）がどのように感じたのかを評価できることとなる。このとき、披撮影者がユーザーの場合には、ユーザー本人が購入検討している装飾品や日用品等を着けている自分を見た時にどのように感じたのかを評価値として得ることができることになる。また、披撮影者がユーザー以外の場合には、ユーザーが装着等している様子を第３者が見た際にどのように感じたのかを評価値として得ることが出来ることになる。「ユーザー以外の評価者」は、例えば、ユーザーの友人や家族など、一緒に店舗を訪れる人や店員であることが好ましい。第３の画像は店舗にてユーザーと一種に見ている様子を撮影してもよいが、インターネットやテレビ電話等の通信手段を介して離れた場所にて第２の画像を見ている様子を撮影したものであってもよい。カメラは、ＰＣやタブレット等に付属されたものでもよく、カメラのみの機能を単独で独立していてもよい。第３の顔画像を取得するためのカメラの位置は、被撮影者（ユーザーまたはユーザー以外の評価者）の正面、斜め方向、真横等のいずれの方向からでもよい。正面であれば顔画像評価器での評価が容易となり、斜め方向や真横の場合には、被撮影者にカメラの存在を意識させずに自然な表情を取得することが可能となる。顔画像評価器は、特に、表情識別器を用いることがよい。ユーザーの顔に対する適合度合いは第１の評価値と第２の評価値に加えて第３の評価値より算出されることがよい。第1の評価値と第２の評価値は、顔画像評価器を用いて算出しているため、多くの他人（不特定多数）がどのように感じたかを反映している。第３の顔画像による第３の評価値は、多くの他人ではなく、特定の他人や自分（ユーザーの知人や家族等またはユーザー本人）がどのように感じたのかを反映している。ユーザーの中には、不特定多数の人よりも、特定の人物からどのように見られるかを重要視したい者もいるため、第３の評価値を用いることで、特定の人がどのように感じたのかを評価値に反映できる事になるためよい。ユーザーの中には、自分や特定の他人がどのように感じるかが重要である人から、不特定多数の多くの他人がどのように感じたのかを重要に感じる人もいる。そのような価値観はユーザーごとに異なるため、予め、ユーザーの判断基準をシステムに入力する手段があるとよい。例えば、特定、不特定の割合を入力するなどするとよい。第３の顔画像は、複数の第２の顔画像を順番に提示するなどすることにより複数取得し、複数の第３の顔画像の評価値としての第３の評価値を複数得て、複数の第３の評価値を比較することがよい。そのようにすることで複数の購入検討候補について被撮影者がどのように感じたのかを取得し、ユーザーに提示することが出来ることとなる。
また、第２８の手段として、顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のユーザーの顔に対する適合度合いを評価するシステムであって、前記第２の顔画像を前記ユーザーまたは前記ユーザー以外の評価者に提示する表示手段と、前記第２の顔画像を見た際の前記ユーザーまたは前記ユーザー以外の評価者の顔画像を第３の顔画像として取得する第６の手段と、前記第３の顔画像を顔画像評価器で評価して前記第３の顔画像の評価値としての第３の評価値を算出する第７の手段を備えるようにした。
第２８の手段は第２７の手段を実現するシステム構成である。第２１の手段のシステムに加え、第２の顔画像をユーザーまたはユーザー以外の評価者に提示する「表示手段」と、第３の顔画像を取得するための撮像手段等（カメラ・ビデオカメラ等）の「第６の手段」、第３の評価値を算出する「第７の手段」を備えることにより、第２の顔画像を見たときにユーザーまたはユーザー以外の評価者がどのように感じたか、すなわち、例えばユーザーが評価したい装飾品や日用品等を装着等している時の様子が似合っているかを客観的に計測できることになる。
また、第２９の手段として、眼鏡の設計システムであって、複数の前記第２の顔画像を前記ユーザーまたは前記ユーザー以外の評価者に提示する表示手段と、複数の前記第２の顔画像を見た際の前記ユーザーまたは前記ユーザー以外の評価者の顔画像を複数の第３の顔画像として取得する第６の手段と、前記複数の第３の顔画像を顔画像評価器で評価して前記複数の第３の顔画像の評価値としての複数の第３の評価値を算出する第７の手段を備えるようにした。
このようにすることで、不特定多数がどのように感じたかの評価だけではなく、特定の人（例えばユーザーやユーザーの知人・家族・店員等）がどのように感じたのかを反映した眼鏡の設計システムを提供できることとなる。ここで、ユーザーには特定の人や自分がどのように感じたかが重要と感じる価値観と、不特定多数の人がどのように感じたのかが重要と感じる価値観があるため、予めシステムはユーザーの価値観を入力する入力手段を備えるとよい。第３の評価値を用いることで前記第２１～第２３の手段によって設計された眼鏡の中からユーザーが好むものを選択的に推奨できる他、前記第２１～第２３の手段によって設計された眼鏡の中には、他の眼鏡と比べてあまりにも奇抜なデザインのものが含まれている場合や、同じデザインのものを装用している人物がユーザーの身近にいるため避けたいデザインが含まれているといった場合に、選択肢から効率的に除くこともできる。
上述した第１～第２９の手段の各発明は、任意に組み合わせることができる。特に、第１の手段の構成、第１６の手段、第２１の手段、又は第２３の手段、を備えて、それら以外の他の上記手段の各発明の少なくともいずれか１つの構成との組み合わせを備えるとよい。第１～第２９の手段の各発明の任意の構成要素を抽出し、他の構成要素と組み合わせてもよい。
【発明の効果】
【0023】
上記発明では、顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型等についての適合度合いに基づいて似合っているかどうかを客観的に判断することが可能となる。また、膨大なデータベースを作成する必要もなく、当該ユーザーの顔に対し似合っている顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型等を選ぶことができることとなる。
【図面の簡単な説明】
【0024】
【図1】（ａ）～（ｄ）は本発明の顔画像評価器を用いた顔に対する評価したい製品等の適合度合いの算出原理の概要であって、第１の顔画像から評価値を算出する流れを説明する模式的な説明図。
【図2】（ａ）～（ｄ）は本発明の顔画像評価器を用いた顔に対する評価したい製品等の適合度合いの算出原理の概要であって、第２の顔画像から評価値を算出する流れを説明する模式的な説明図。
【図3】公知のPlutchikの感情の輪モデルの説明図。
【図4】実施の形態における電気的構成を説明するブロック図。
【図5】複数の眼鏡画像について顧客の要望を考慮した適応度合いを算出することによって顧客に推奨製品としての眼鏡画像をモニターに表示させるまでの流れを説明したフローチャート。
【図6】実施の形態１においてモニター画面上にユーザーの第１の顔画像と、選択肢ボタンが表示された状態を説明する模式的な説明図。
【図7】実施の形態１においてモニター画面上に表示される眼鏡画像の図。
【図10】実施の形態２においてモニター画面上にユーザーの第１の顔画像と、選択肢ボタンが表示された状態を説明する模式的な説明図。
【図11】実施の形態３において多数の眼鏡画像を合成した第２の顔画像を取得して適合度の高かった眼鏡のデザインを採用するまでの概要を説明する模式的な説明図。
【図12】実施の形態４において多数の眼鏡画像を合成した第２の顔画像と適合度の関係を説明する説明図。
【図13】（Ａ）は実施の形態４において所定以上の適合度の製品の共通している座標群を第１の顔画像に合成した顔画像の図、（Ｂ）は共通する座標群を含み適合度合いの高いフレームのデザイン例、（Ｃ）は共通する座標群を含み適合度合いの高いフレームの別のデザイン例。
【図14】実施の形態５において眉画像を合成した第２の顔画像を取得して第１及び第２の評価値を算出し、その差分値に基づいて適合度合いを算出するまでの概要を説明する模式的な説明図。
【図15】実施の形態６において唇（口紅）と眼鏡の画像を合成した第２の顔画像を取得して第１及び第２の評価値を算出し、その差分値に基づいて適合度合いを算出するまでの概要を説明する模式的な説明図。
【図16】複数の眼鏡画像について顧客の要望を考慮することに加え、特定の人物の評価を推定して考慮した上で適応度合いを算出することによって顧客に推奨製品としての眼鏡画像をモニターに表示させるまでの流れを説明したフローチャート。
【発明を実施するための形態】
【0025】
以下、本発明の具体的な実施の形態について図面に基づいて説明する。まず、以下の実施の形態に共通する電気的構成についての概要について説明する。
図４に示すように、算出用コンピュータ装置１にはモニター２と入力装置３とカメラ４と顔画像評価器５が接続されている。モニター２は画面上にユーザーの顔画像を表示し、算出のための情報を入力するためのＧＵＩ入力可能な画面を表示し、算出結果を表示する。入力装置３はキーボード、マウス等から構成され、これらを操作することで適合度合いを評価するためのプログラムを立ち上げ、所定の入力によってプログラムに基づく計算を進行させ、算出結果を得ることができる。カメラ４はユーザーの顔画像を撮像する。
顔画像評価器５はハード的な回路を有する装置であって、所定の評価項目に基づいて評価値を算出する。顔画像評価器５は、記憶装置８に内蔵されるソフトウェアであってもよい。
尚、ここでは、基本的な構成を挙げたが、他のデバイスに記憶させたユーザーの顔画像データを算出用コンピュータ装置１に適用するようにしてもよい。その場合直接算出用コンピュータ装置１に接続していなくとも、例えば無線通信やＬＡＮ接続された他のコンピュータやデータ記憶装置等の他の装置から転送するスタイルでもよい。
図４に示すように、算出用コンピュータ装置１にはモニター２と入力装置３とカメラ４と顔画像評価器５が接続されている。モニター２は画面上にユーザーの顔画像を表示し、算出のための情報を入力するためのＧＵＩ入力可能な画面を表示し、算出結果を表示する。入力装置３はキーボード、マウス等から構成され、これらを操作することで適合度合いを評価するためのプログラムを立ち上げ、所定の入力によってプログラムに基づく計算を進行させ、算出結果を得ることができる。カメラ４はユーザーの顔画像を撮像する。
顔画像評価器５はハード的な回路を有する装置であって、所定の評価項目に基づいて評価値を算出する。顔画像評価器５は、記憶装置８に内蔵されるソフトウェアであってもよい。
尚、ここでは、基本的な構成を挙げたが、他のデバイスに記憶させたユーザーの顔画像データを算出用コンピュータ装置１に適用するようにしてもよい。その場合直接算出用コンピュータ装置１に接続していなくとも、例えば無線通信やＬＡＮ接続された他のコンピュータやデータ記憶装置等の他の装置から転送するスタイルでもよい。
【0026】
算出用コンピュータ装置１は電気的構成としてＣＰＵ（中央処理装置）７及びＲＯＭやＲＡＭ等からなる記憶装置８等の周辺装置によって構成される。制御手段であるＣＰＵ７は入力装置３からの入力動作に基づいて、記憶装置８内に記憶された適合度合い算出プログラムに従い、以下のようなメイン制御を実行する。
（１）カメラ４で撮像した画像（第１の顔画像）をモニター２の画面上に表示させるとともに、取得したユーザーの第１の顔画像データを記憶装置８に一旦記憶させる。
（２）記憶装置８に記憶させた顔画像データに基づいて顔画像評価器５に評価値（第１の評価値）を算出させ、その結果を記憶装置８内に一旦記憶させる。
（３）記憶装置８に記憶させた第１の顔画像データを呼び出しモニター２の画面上に表示させるとともに、記憶装置８に記憶させた複数の装飾品（あるいは日用品）としての眼鏡画像データを呼び出し、第１の顔画像データと合成し、記憶装置８内に一旦記憶させる。また、合成された複数の画像（第２の顔画像）を呼び出しモニター２の画面上に表示させる。
（４）複数の第２の顔画像データについて顔画像評価器５にそれぞれ評価値（第２の評価値）を算出させ、その結果を記憶装置８内に記憶させる。
（５）第１の評価値と複数の第２の評価値との間でそれぞれ差分値を取り、その差分値に基づいてそれぞれの適合度合いを算出する。また、入力されたユーザーの要望に応じて算出方法を変更して適合度合いを算出する。
（６）モニター２の画面上に適合度合いを算出した結果を表示させる。また、複数の適合度合いの算出結果から適合度合いのよさの順を決定し、例えば、もっとも適合度合いがよかった眼鏡画像データを表示をさせたり、算出結果から適合度合いが高い順に並べて表示させたりする。例えば、第１の顔画像を画面左に、第２の顔画像を適合度合いの数値やグラフと一緒に画面右側に表示するなどでもよい。
（１）カメラ４で撮像した画像（第１の顔画像）をモニター２の画面上に表示させるとともに、取得したユーザーの第１の顔画像データを記憶装置８に一旦記憶させる。
（２）記憶装置８に記憶させた顔画像データに基づいて顔画像評価器５に評価値（第１の評価値）を算出させ、その結果を記憶装置８内に一旦記憶させる。
（３）記憶装置８に記憶させた第１の顔画像データを呼び出しモニター２の画面上に表示させるとともに、記憶装置８に記憶させた複数の装飾品（あるいは日用品）としての眼鏡画像データを呼び出し、第１の顔画像データと合成し、記憶装置８内に一旦記憶させる。また、合成された複数の画像（第２の顔画像）を呼び出しモニター２の画面上に表示させる。
（４）複数の第２の顔画像データについて顔画像評価器５にそれぞれ評価値（第２の評価値）を算出させ、その結果を記憶装置８内に記憶させる。
（５）第１の評価値と複数の第２の評価値との間でそれぞれ差分値を取り、その差分値に基づいてそれぞれの適合度合いを算出する。また、入力されたユーザーの要望に応じて算出方法を変更して適合度合いを算出する。
（６）モニター２の画面上に適合度合いを算出した結果を表示させる。また、複数の適合度合いの算出結果から適合度合いのよさの順を決定し、例えば、もっとも適合度合いがよかった眼鏡画像データを表示をさせたり、算出結果から適合度合いが高い順に並べて表示させたりする。例えば、第１の顔画像を画面左に、第２の顔画像を適合度合いの数値やグラフと一緒に画面右側に表示するなどでもよい。
【0027】
以下、具体的な実施の形態について図面に基づいて説明する。
（実施の形態１）
実施の形態１は眼鏡を販売する店舗において、適応度合いの算出によって顧客に眼鏡を推奨する場合を例に挙げて、図５のフローチャートに従って説明する。
ステップＳ１において、図６に示すように算出用コンピュータ装置１のＣＰＵ７は取り込んだユーザーの顔の画像（第１の顔画像）をモニター２の画面２ａ上に表示させる。ユーザーの第１の顔画像１０に隣接した位置に「誠実に見える」「優しく見える」「なるべく変わらず」の３つの選択肢ボタン１１Ａ～１１ＣをＧＵＩ表示させてユーザーの入力を促す。選択肢ボタン１１Ａ～１１Ｃはそれら自体他の画面とのリンクが関連付けられた入力領域である。ユーザーは画面２ａを見て、この中から１つを選択して、入力装置３を操作していずれかの要望（なりたい姿）を選択する。そのユーザー要望は評価したい製品の適合度の算出時の目標値の設定で用いられる。
ステップＳ２においてＣＰＵ７は「誠実に見える」「優しく見える」「なるべく変わらず」のいずれかを選択したと判断すると、それに応じた適合度合いの算出のための重み係数と計算方法を選択する。
まず、ユーザーが「誠実に見える」を選んだとする。すると、顔画像評価器５の出力から適合度を算出する際の係数（重み係数）が、「中立（Ｎｅｕｔｒａｌ）」に対して１．０、「喜び（Ｈａｐｐｙ）」に対して－０．５、それ以外に対して０．０と設定され、その計算値が大きいほど適合度合いの計算において評価項目の重要度を高く評価する。
また、ユーザーが「優しく見える」を選んだとする。すると、顔画像評価器５の出力から適合度を算出する際の係数（重み係数）が、「中立（Ｎｅｕｔｒａｌ）」に対して０．５、「喜び（Ｈａｐｐｙ）」に対して１．０、「怒り（Ａｎｇｅｒ）」に対して－１．０、それ以外に対して０．０と設定され、その計算値が大きいほど適合度合いの計算において評価項目の重要度を高く評価する。
また、ユーザーが「なるべく変わらず」を選んだとする。第１の顔画像と評価する製品を合成した第２の顔画像とで、顔画像評価器５の出力のすべての出力の差分値の絶対値の総和が小さいほど適合度が高いと評価する。このとき、すべての評価項目について評価しなくても、重み係数を設定することによりいくつかの評価項目の重要度を上げて（または下げて）評価してもよい。
（実施の形態１）
実施の形態１は眼鏡を販売する店舗において、適応度合いの算出によって顧客に眼鏡を推奨する場合を例に挙げて、図５のフローチャートに従って説明する。
ステップＳ１において、図６に示すように算出用コンピュータ装置１のＣＰＵ７は取り込んだユーザーの顔の画像（第１の顔画像）をモニター２の画面２ａ上に表示させる。ユーザーの第１の顔画像１０に隣接した位置に「誠実に見える」「優しく見える」「なるべく変わらず」の３つの選択肢ボタン１１Ａ～１１ＣをＧＵＩ表示させてユーザーの入力を促す。選択肢ボタン１１Ａ～１１Ｃはそれら自体他の画面とのリンクが関連付けられた入力領域である。ユーザーは画面２ａを見て、この中から１つを選択して、入力装置３を操作していずれかの要望（なりたい姿）を選択する。そのユーザー要望は評価したい製品の適合度の算出時の目標値の設定で用いられる。
ステップＳ２においてＣＰＵ７は「誠実に見える」「優しく見える」「なるべく変わらず」のいずれかを選択したと判断すると、それに応じた適合度合いの算出のための重み係数と計算方法を選択する。
まず、ユーザーが「誠実に見える」を選んだとする。すると、顔画像評価器５の出力から適合度を算出する際の係数（重み係数）が、「中立（Ｎｅｕｔｒａｌ）」に対して１．０、「喜び（Ｈａｐｐｙ）」に対して－０．５、それ以外に対して０．０と設定され、その計算値が大きいほど適合度合いの計算において評価項目の重要度を高く評価する。
また、ユーザーが「優しく見える」を選んだとする。すると、顔画像評価器５の出力から適合度を算出する際の係数（重み係数）が、「中立（Ｎｅｕｔｒａｌ）」に対して０．５、「喜び（Ｈａｐｐｙ）」に対して１．０、「怒り（Ａｎｇｅｒ）」に対して－１．０、それ以外に対して０．０と設定され、その計算値が大きいほど適合度合いの計算において評価項目の重要度を高く評価する。
また、ユーザーが「なるべく変わらず」を選んだとする。第１の顔画像と評価する製品を合成した第２の顔画像とで、顔画像評価器５の出力のすべての出力の差分値の絶対値の総和が小さいほど適合度が高いと評価する。このとき、すべての評価項目について評価しなくても、重み係数を設定することによりいくつかの評価項目の重要度を上げて（または下げて）評価してもよい。
【0028】
次いで、ステップＳ３に移行し、ＣＰＵ７は図７に示す複数種類の眼鏡画像１２Ａ～１２Ｃをモニター２の画面２ａ上に同時に表示させる。ユーザーからこれらを認証したとの入力がされると、画面が変わり、図８に示すように眼鏡画像１２Ａ～１２Ｃを第１の顔画像１０に合成した第２の顔画像１３Ａ～１３Ｃが並んで表示される。ユーザーからこれらを認証したとの入力がされるとステップＳ４において適合度（適合度合い）が算出される。
適合度の算出は顔画像評価器５による評価値の結果に基づいて実行される。
ＣＰＵ７は基準となる第１の顔画像１０の第１の評価値と第２の顔画像１３Ａ～１３Ｃの第２の評価値との差分値を取り、その差分値に対して適合度を計算する。顔画像評価器５の評価値の結果は図９の通りである。例えば、第１の顔画像１０では年齢は２９歳と評価され、中立の値で０．５１、喜びの値で０．１８、怒りの値で０．１２、悲しみの値で０．１１、驚きの値で０．０と評価された。
適合度は「誠実に見える」場合が選択されると、眼鏡画像１２Ａの場合の第２の顔画像１３Ａの適合度は－０．６２、眼鏡画像１２Ｂの適合度の場合の第２の顔画像１３Ｂは－０．７５、眼鏡画像１２Ｃの適合度の場合の第２の顔画像１３Ｃは０．０７となり、眼鏡画像１２Ｃが最も適合度が高いと評価される。よって、ユーザーに対して推奨される製品は眼鏡画像１２Ｃと決定される。
また、「優しく見える」が選択されると、眼鏡画像１２Ａの場合の第２の顔画像１３Ａの適合度は０．２４、眼鏡画像１２Ｂの場合の第２の顔画像１３Ｂの適合度は０．４８、眼鏡画像１２Ｃの場合の第２の顔画像１３Ｃの適合度は０．０１となり、眼鏡画像１２Ｂが最も適合度が高いと評価される。よって、ユーザーに対して推奨される製品は眼鏡画像１２Ｂと決定される。
また、「なるべく変わらず」が選択されると、眼鏡画像１２Ａの場合の第２の顔画像１３Ａの適合度は０．９８、眼鏡画像１２Ｂの場合の第２の顔画像１３Ｂの適合度は１．２０、眼鏡画像１２Ｃの場合の第２の顔画像１３Ｃの適合度は０．７４となり、最も値の小さい眼鏡画像１２Ｃが最も適合度が高いと評価される。よって、ユーザーに対して推奨される製品は眼鏡画像１２Ｃと決定される。最後に、推奨製品として眼鏡画像１２Ｃのみがディスプレイに提示される。比較として他の眼鏡画像１２Ａや１２Ｂも一緒に表示してよい。
ステップＳ５においてＣＰＵ７は算出された適合度に基づいた推奨製品の眼鏡画像をモニター２の画面２ａ上に表示させる。「誠実に見える」の場合では、推奨製品として眼鏡画像１２Ｃのみがディスプレイに提示される。「優しく見える」の場合では、推奨製品として眼鏡画像１２Ｂのみがディスプレイに提示される。「なるべく変わらず」の場合では、推奨製品として眼鏡画像１２Ｃのみがディスプレイに提示される。比較として他の眼鏡画像１２Ａや１２Ｂも一緒に表示してよい。
適合度の算出は顔画像評価器５による評価値の結果に基づいて実行される。
ＣＰＵ７は基準となる第１の顔画像１０の第１の評価値と第２の顔画像１３Ａ～１３Ｃの第２の評価値との差分値を取り、その差分値に対して適合度を計算する。顔画像評価器５の評価値の結果は図９の通りである。例えば、第１の顔画像１０では年齢は２９歳と評価され、中立の値で０．５１、喜びの値で０．１８、怒りの値で０．１２、悲しみの値で０．１１、驚きの値で０．０と評価された。
適合度は「誠実に見える」場合が選択されると、眼鏡画像１２Ａの場合の第２の顔画像１３Ａの適合度は－０．６２、眼鏡画像１２Ｂの適合度の場合の第２の顔画像１３Ｂは－０．７５、眼鏡画像１２Ｃの適合度の場合の第２の顔画像１３Ｃは０．０７となり、眼鏡画像１２Ｃが最も適合度が高いと評価される。よって、ユーザーに対して推奨される製品は眼鏡画像１２Ｃと決定される。
また、「優しく見える」が選択されると、眼鏡画像１２Ａの場合の第２の顔画像１３Ａの適合度は０．２４、眼鏡画像１２Ｂの場合の第２の顔画像１３Ｂの適合度は０．４８、眼鏡画像１２Ｃの場合の第２の顔画像１３Ｃの適合度は０．０１となり、眼鏡画像１２Ｂが最も適合度が高いと評価される。よって、ユーザーに対して推奨される製品は眼鏡画像１２Ｂと決定される。
また、「なるべく変わらず」が選択されると、眼鏡画像１２Ａの場合の第２の顔画像１３Ａの適合度は０．９８、眼鏡画像１２Ｂの場合の第２の顔画像１３Ｂの適合度は１．２０、眼鏡画像１２Ｃの場合の第２の顔画像１３Ｃの適合度は０．７４となり、最も値の小さい眼鏡画像１２Ｃが最も適合度が高いと評価される。よって、ユーザーに対して推奨される製品は眼鏡画像１２Ｃと決定される。最後に、推奨製品として眼鏡画像１２Ｃのみがディスプレイに提示される。比較として他の眼鏡画像１２Ａや１２Ｂも一緒に表示してよい。
ステップＳ５においてＣＰＵ７は算出された適合度に基づいた推奨製品の眼鏡画像をモニター２の画面２ａ上に表示させる。「誠実に見える」の場合では、推奨製品として眼鏡画像１２Ｃのみがディスプレイに提示される。「優しく見える」の場合では、推奨製品として眼鏡画像１２Ｂのみがディスプレイに提示される。「なるべく変わらず」の場合では、推奨製品として眼鏡画像１２Ｃのみがディスプレイに提示される。比較として他の眼鏡画像１２Ａや１２Ｂも一緒に表示してよい。
【0029】
このように構成することで実施の形態１では次のような効果が奏される。
（１）ユーザーの顔に似合うかどうかを、「顔」と「製品」と「評価値」を紐づけたデータベースを作成することなく、その都度顔と眼鏡とが似合っているかどうかを顔画像評価器で評価でき、適合度合いを算出することができるので、システム構築におけるコストが低減できる。
（２）ユーザーの顔は１回だけ第１の顔画像１０として取得すればよく、ユーザーに何度も眼鏡を装用させたりする面倒をかけることがないため、ユーザーへの負荷が大きく軽減されることとなる。
（３）ユーザーの要望を選択肢として反映させることができるため、よりユーザーフレンドリーとなりユーザーに適した眼鏡を提供することができる。
（４）主観が入らず客観的な推奨製品としての眼鏡の形状を提供することができる。
（１）ユーザーの顔に似合うかどうかを、「顔」と「製品」と「評価値」を紐づけたデータベースを作成することなく、その都度顔と眼鏡とが似合っているかどうかを顔画像評価器で評価でき、適合度合いを算出することができるので、システム構築におけるコストが低減できる。
（２）ユーザーの顔は１回だけ第１の顔画像１０として取得すればよく、ユーザーに何度も眼鏡を装用させたりする面倒をかけることがないため、ユーザーへの負荷が大きく軽減されることとなる。
（３）ユーザーの要望を選択肢として反映させることができるため、よりユーザーフレンドリーとなりユーザーに適した眼鏡を提供することができる。
（４）主観が入らず客観的な推奨製品としての眼鏡の形状を提供することができる。
【0030】
（実施の形態２）
実施の形態２も装飾品等として眼鏡を販売する店舗において、適応度合いの算出によって顧客に眼鏡を推奨する場合の例である。実施の形態２では評価項目としての年齢について選択肢が設けられている。基本的なルーチンは実施の形態１と同じであり、ステップＳ２の内容が異なるのみであるため実施の形態２独自の内容についてのみ説明する。
図１０に示すように、ＣＰＵ７は取り込んだユーザーの顔の画像（第１の顔画像）をモニター２の画面２ａ上に表示させる。第１の顔画像１０に隣接した位置に年齢に関するユーザーの要望を受け付ける選択肢ボタン１５Ａ～１５ＣをＧＵＩ表示させてユーザーの入力を促すようにしている。本実施の形態２では実際の年齢に対して年上及び/又は年下に設定する場合でありここでは一例として３歳差に設定している。ＣＰＵ７は選択肢ボタン１５Ａ～１５Ｃに応じて適合度の計算の際にユーザーの要望する年齢が高い適合度合い（評価値）になるように評価するものとする。
ここでユーザーが「－３歳」を選択したとする。第１の顔画像１０および眼鏡画像１２Ａ～１２Ｃをそれぞれ合成した第２の顔画像を顔画像評価器で評価すると、第１の顔画像は年齢は２９歳、１２Ａを装用した場合は２７歳、１２Ｂを装用した場合は２８歳、１２Ｃを装用した場合は３０歳と評価される。第１の顔画像１０との年齢の差分値は、眼鏡画像１２Ａで－２歳、眼鏡画像１２Ｂで－１歳、眼鏡画像１２Ｃで＋１歳となる。「－３歳」を適合度１．０として適合度を計算すると、第１の顔画像１０に眼鏡画像１２Ａの適合度は０．９、眼鏡画像１２Ｂの適合度は０．８、眼鏡画像１２Ｃの適合度は０．６となり、眼鏡画像１２Ａが最も適合度が高いと判定される。よって、ユーザーに推奨される眼鏡画像１２Ａと決定され、その画像がモニター２の画面２ａ上に表示される。この時、その眼鏡を装用することの効果として例えば「眼鏡画像１２Ａは２歳若く見せることができる」との理由説明の文章を添付する。適合度０．９と表示してもよい。尚、ここでは適合度の計算例として簡易的に推定年齢が２６歳を１．０として、１歳ずれるごとに０．１減算した。
このように構成することで実施の形態２では実施の形態１の効果に加えて、若く見せたり、あるいは年齢以上に落ち着いた感じにみせたりすることに最適な眼鏡を提供することができる。
実施の形態２も装飾品等として眼鏡を販売する店舗において、適応度合いの算出によって顧客に眼鏡を推奨する場合の例である。実施の形態２では評価項目としての年齢について選択肢が設けられている。基本的なルーチンは実施の形態１と同じであり、ステップＳ２の内容が異なるのみであるため実施の形態２独自の内容についてのみ説明する。
図１０に示すように、ＣＰＵ７は取り込んだユーザーの顔の画像（第１の顔画像）をモニター２の画面２ａ上に表示させる。第１の顔画像１０に隣接した位置に年齢に関するユーザーの要望を受け付ける選択肢ボタン１５Ａ～１５ＣをＧＵＩ表示させてユーザーの入力を促すようにしている。本実施の形態２では実際の年齢に対して年上及び/又は年下に設定する場合でありここでは一例として３歳差に設定している。ＣＰＵ７は選択肢ボタン１５Ａ～１５Ｃに応じて適合度の計算の際にユーザーの要望する年齢が高い適合度合い（評価値）になるように評価するものとする。
ここでユーザーが「－３歳」を選択したとする。第１の顔画像１０および眼鏡画像１２Ａ～１２Ｃをそれぞれ合成した第２の顔画像を顔画像評価器で評価すると、第１の顔画像は年齢は２９歳、１２Ａを装用した場合は２７歳、１２Ｂを装用した場合は２８歳、１２Ｃを装用した場合は３０歳と評価される。第１の顔画像１０との年齢の差分値は、眼鏡画像１２Ａで－２歳、眼鏡画像１２Ｂで－１歳、眼鏡画像１２Ｃで＋１歳となる。「－３歳」を適合度１．０として適合度を計算すると、第１の顔画像１０に眼鏡画像１２Ａの適合度は０．９、眼鏡画像１２Ｂの適合度は０．８、眼鏡画像１２Ｃの適合度は０．６となり、眼鏡画像１２Ａが最も適合度が高いと判定される。よって、ユーザーに推奨される眼鏡画像１２Ａと決定され、その画像がモニター２の画面２ａ上に表示される。この時、その眼鏡を装用することの効果として例えば「眼鏡画像１２Ａは２歳若く見せることができる」との理由説明の文章を添付する。適合度０．９と表示してもよい。尚、ここでは適合度の計算例として簡易的に推定年齢が２６歳を１．０として、１歳ずれるごとに０．１減算した。
このように構成することで実施の形態２では実施の形態１の効果に加えて、若く見せたり、あるいは年齢以上に落ち着いた感じにみせたりすることに最適な眼鏡を提供することができる。
【0031】
（実施の形態３）
実施の形態３は本発明の適合度合い評価システムを用いた製品の設計システムへの応用である。
上記実施の形態１及び２ではユーザーに推奨される眼鏡を選ぶという観点であったが、ここでは人に適合しやすい眼鏡を新たに設計（デザイン）するという観点での実施の形態である。
図１１に示すように、多くの眼鏡Ａ～Ｘのデザインを新たに作成する。Ｘはここでは眼鏡の多数番目を表す。そして、上記実施の形態１と同様に第１の顔画像２１を取得し、第１の顔画像２１にそれらデザインした眼鏡Ａ～Ｘをそれぞれ合成し、複数の第２の顔画像２２Ａ～２２Ｘを取得する。そして、顔画像評価器５によって評価値を算出する。第１の顔画像２１の第１の評価値と複数の第２の顔画像２２Ａ～２２Ｘの第２の評価値との差分値に基づいてすべてのパターンについて適合度を算出し、適合度の高かった眼鏡のデザインを採用する。適合度の算出にあたって、この製品の設計システムがユーザーの購入段階で用いられる場合には第１の顔画像２１のユーザーの要望を入力手段によって取得し、その要望に対する適合度を算出する。また、この製品の設計システムがメーカー等による製品の開発段階で用いられるものであれば、例えば、デザイナーがユーザーの要望を予測して製品コンセプトを「５歳若く見え、笑顔がきれいに見える眼鏡」などと決め、その製品コンセプトを要望として適合度合いを算出するとよい。
これによってもっとも人に適合しやすい眼鏡を選択したり製品として提供することができる。ここではデザインＢが適合度の数値が高いのでもっとも人に適合しやすいと判断できる。
実施の形態３は本発明の適合度合い評価システムを用いた製品の設計システムへの応用である。
上記実施の形態１及び２ではユーザーに推奨される眼鏡を選ぶという観点であったが、ここでは人に適合しやすい眼鏡を新たに設計（デザイン）するという観点での実施の形態である。
図１１に示すように、多くの眼鏡Ａ～Ｘのデザインを新たに作成する。Ｘはここでは眼鏡の多数番目を表す。そして、上記実施の形態１と同様に第１の顔画像２１を取得し、第１の顔画像２１にそれらデザインした眼鏡Ａ～Ｘをそれぞれ合成し、複数の第２の顔画像２２Ａ～２２Ｘを取得する。そして、顔画像評価器５によって評価値を算出する。第１の顔画像２１の第１の評価値と複数の第２の顔画像２２Ａ～２２Ｘの第２の評価値との差分値に基づいてすべてのパターンについて適合度を算出し、適合度の高かった眼鏡のデザインを採用する。適合度の算出にあたって、この製品の設計システムがユーザーの購入段階で用いられる場合には第１の顔画像２１のユーザーの要望を入力手段によって取得し、その要望に対する適合度を算出する。また、この製品の設計システムがメーカー等による製品の開発段階で用いられるものであれば、例えば、デザイナーがユーザーの要望を予測して製品コンセプトを「５歳若く見え、笑顔がきれいに見える眼鏡」などと決め、その製品コンセプトを要望として適合度合いを算出するとよい。
これによってもっとも人に適合しやすい眼鏡を選択したり製品として提供することができる。ここではデザインＢが適合度の数値が高いのでもっとも人に適合しやすいと判断できる。
【0032】
（実施の形態４）
実施の形態４は実施の形態３のバリエーションである。
まず、実施の形態３と同様に、第１の顔画像を取得する。そして、以下の（１）～（３）を行う。
（１）設計を行う製品についてなるべく多種の製品の画像を作成する。画像は実際にデザイナーがデザインしてもよいが、ここではコンピュータに仮想的な眼鏡フレームを自動でデザインさせる。
（２）次に、作成した画像と第１の顔画像とそれぞれ合成し図１２に示すように複数の第２の顔画像２２ａ、２２ｂ・・・２２ｘを取得する。そして、実施の形態３と同様にすべての眼鏡について適合度合いを算出する。この時、算出方法として顔画像評価器の出力のうちどのような評価項目を用いるかや、どのように合算して適合度とするかは設計のたびに任意で決める。
（３）次に、設計に利用する水準の適合度を設定する。まず、設定した水準以上の適合度と算出された製品の画像のみを残すようにする。本実施の形態４では０．６以上の適合度のデザインのみを採用する。そして、第２の顔画像２２ａ～２２ｘ群から０．６以上の第２の顔画像を選び、選ばれた第２の顔画像に多く共通する座標を求める。座標は顔の中心を原点として二次元で設定されるが、奥行き方向の座標も取得して三次元としてもよい。
実施の形態４は実施の形態３のバリエーションである。
まず、実施の形態３と同様に、第１の顔画像を取得する。そして、以下の（１）～（３）を行う。
（１）設計を行う製品についてなるべく多種の製品の画像を作成する。画像は実際にデザイナーがデザインしてもよいが、ここではコンピュータに仮想的な眼鏡フレームを自動でデザインさせる。
（２）次に、作成した画像と第１の顔画像とそれぞれ合成し図１２に示すように複数の第２の顔画像２２ａ、２２ｂ・・・２２ｘを取得する。そして、実施の形態３と同様にすべての眼鏡について適合度合いを算出する。この時、算出方法として顔画像評価器の出力のうちどのような評価項目を用いるかや、どのように合算して適合度とするかは設計のたびに任意で決める。
（３）次に、設計に利用する水準の適合度を設定する。まず、設定した水準以上の適合度と算出された製品の画像のみを残すようにする。本実施の形態４では０．６以上の適合度のデザインのみを採用する。そして、第２の顔画像２２ａ～２２ｘ群から０．６以上の第２の顔画像を選び、選ばれた第２の顔画像に多く共通する座標を求める。座標は顔の中心を原点として二次元で設定されるが、奥行き方向の座標も取得して三次元としてもよい。
【0033】
共通する座標を求めるには次のようにする。
まず、各画像は製品の占める座標とそうでない背景の画像の二つに分けることができる。製品となる眼鏡画像データの占める座標を１、背景の画像を０とする二値化を実行し第２の顔画像２２ａ～２２ｘの２次元データを作成する。次に、第２の顔画像２２ａ～２２ｘのうち適合度０．６以上となる二値化された第２の顔画像の各座標の値を足し合わせたデータを作成する。こうして作成されたデータは、適合度の高いデザイン間で多く共通している座標ほど値が大きくなる。すなわち、この座標は適合度の高いデザインに共通する特徴点ということになる。図１３に０．６以上の適合度の製品の共通している座標群２３を第１の顔画像に合成した顔画像を示す。図１３（Ａ）～（Ｃ）では共通する座標群２３にドットが打ってあり、フレームの一部が表示されているように見えている。
そして、値が大きい座標（図１３の特徴点）を多く含むように製品を設計、すなわちデザインする。例えば、適合度の高い眼鏡として図１３の特徴点(座標点２３)を含む図１３（Ｂ）や図１３（Ｃ）がデザインされる。こうすることで、評価システムによって適合度が高く評価されやすい製品を設計することができる。このような設計は、メーカーによる製品製造時に実行され、製品を加工してユーザーに納品してもよいし、ユーザーの発注段階でパソコンやスマートフォン、タブレット等で操作されるアプリケーション内で実行され、ユーザーが比較検討してデータ決定した内容を製造メーカーにて受け取り、製品と加工して納品してもよい。
まず、各画像は製品の占める座標とそうでない背景の画像の二つに分けることができる。製品となる眼鏡画像データの占める座標を１、背景の画像を０とする二値化を実行し第２の顔画像２２ａ～２２ｘの２次元データを作成する。次に、第２の顔画像２２ａ～２２ｘのうち適合度０．６以上となる二値化された第２の顔画像の各座標の値を足し合わせたデータを作成する。こうして作成されたデータは、適合度の高いデザイン間で多く共通している座標ほど値が大きくなる。すなわち、この座標は適合度の高いデザインに共通する特徴点ということになる。図１３に０．６以上の適合度の製品の共通している座標群２３を第１の顔画像に合成した顔画像を示す。図１３（Ａ）～（Ｃ）では共通する座標群２３にドットが打ってあり、フレームの一部が表示されているように見えている。
そして、値が大きい座標（図１３の特徴点）を多く含むように製品を設計、すなわちデザインする。例えば、適合度の高い眼鏡として図１３の特徴点(座標点２３)を含む図１３（Ｂ）や図１３（Ｃ）がデザインされる。こうすることで、評価システムによって適合度が高く評価されやすい製品を設計することができる。このような設計は、メーカーによる製品製造時に実行され、製品を加工してユーザーに納品してもよいし、ユーザーの発注段階でパソコンやスマートフォン、タブレット等で操作されるアプリケーション内で実行され、ユーザーが比較検討してデータ決定した内容を製造メーカーにて受け取り、製品と加工して納品してもよい。
【0034】
（実施の形態５）
実施の形態５は眼鏡ではなく他の種類の製品について製品の推奨や設計を行った例を示す。他の種類の製品についても上記と同様に評価システム、推奨システム設計システムを構成することができる。
図１４は第１の顔画像２５に眉を装飾する眉の画像２６を合成することで第２の顔画像２７を取得し、上記と同様に顔画像評価器５で適合度を求め、その後第１の評価値と第２の評価値の差分から適合度を計算する流れの模式的な図である。第１の顔画像に対する第１の評価値、第２の顔画像に対する第２の評価値は図１４に記載の通りである。ここでは、ユーザーが要望として「誠実にみえる」を選択したとき、「中立」に対する重み係数＝１．０、「喜び」に対する重み係数＝－０．５になるようにあらかじめ重み係数を設定しておき、第１の顔画像と第２の顔画像の差分に重み係数を掛けてより、１．０×（０．６５－０．５１）－０．５×（０．０９－０．１８）＝０．１９となり、適合度は０．１９と計算される。
また、図示しない別の眉の画像を合成した第２の顔画像を作成して適合度を評価した時、適合度が０．１と計算されたとする。この場合、適合度０．１９となる眉の画像２６の方がユーザーの要望に適合していることをユーザーに示すことができることとなる。
（実施の形態６）
実施の形態６は実施の形態５のバリエーションである。実施の形態５の第１の顔画像２５と実施の形態６の第１の顔画像２８は同じ顔画像であり、同じユーザーが別の製品について比較検討する事例とする。
図１５では実施の形態５の第１の顔画像２８に眼鏡と唇を装飾する製品（口紅）としてこれらを同時に合成して第２の顔画像２９を取得し、上記と同様に顔画像評価器５で適合度を求め、その後第１の評価値と第２の評価値の差分から適合度を計算する流れの模式的な図である。ユーザーが要望として「誠実にみえる」を選択したとき、第２の顔画像２９の適合度は０．２５と計算される。すなわち、第１の顔画像のユーザーの見られたい要望について、実施の形態５のように「眉」への化粧では０．１９、実施の形態６のように「眼鏡」＋「口紅」では０．２５となることから、眼鏡と口紅を組み合わせてコーディネートすることが、眉のみを化粧するよりも高い適合度（ユーザーの要望をかなえる見られ方）となっていることが分かり、そのような結果を客観データとしてユーザーに提示することができることとなる。尚、「眉」＋「口紅」とか、「眉」＋「眼鏡」とか、「眉」＋「眼鏡」＋「口紅」やその他製品を組み合わせるなどは自由である。特に眼鏡と化粧はどちらも顔を装飾するアイテムであり、普段の生活で当たり前のように身につけるものであるため実施の形態６のように組み合わせて評価できることの意義は大きい。
実施の形態５は眼鏡ではなく他の種類の製品について製品の推奨や設計を行った例を示す。他の種類の製品についても上記と同様に評価システム、推奨システム設計システムを構成することができる。
図１４は第１の顔画像２５に眉を装飾する眉の画像２６を合成することで第２の顔画像２７を取得し、上記と同様に顔画像評価器５で適合度を求め、その後第１の評価値と第２の評価値の差分から適合度を計算する流れの模式的な図である。第１の顔画像に対する第１の評価値、第２の顔画像に対する第２の評価値は図１４に記載の通りである。ここでは、ユーザーが要望として「誠実にみえる」を選択したとき、「中立」に対する重み係数＝１．０、「喜び」に対する重み係数＝－０．５になるようにあらかじめ重み係数を設定しておき、第１の顔画像と第２の顔画像の差分に重み係数を掛けてより、１．０×（０．６５－０．５１）－０．５×（０．０９－０．１８）＝０．１９となり、適合度は０．１９と計算される。
また、図示しない別の眉の画像を合成した第２の顔画像を作成して適合度を評価した時、適合度が０．１と計算されたとする。この場合、適合度０．１９となる眉の画像２６の方がユーザーの要望に適合していることをユーザーに示すことができることとなる。
（実施の形態６）
実施の形態６は実施の形態５のバリエーションである。実施の形態５の第１の顔画像２５と実施の形態６の第１の顔画像２８は同じ顔画像であり、同じユーザーが別の製品について比較検討する事例とする。
図１５では実施の形態５の第１の顔画像２８に眼鏡と唇を装飾する製品（口紅）としてこれらを同時に合成して第２の顔画像２９を取得し、上記と同様に顔画像評価器５で適合度を求め、その後第１の評価値と第２の評価値の差分から適合度を計算する流れの模式的な図である。ユーザーが要望として「誠実にみえる」を選択したとき、第２の顔画像２９の適合度は０．２５と計算される。すなわち、第１の顔画像のユーザーの見られたい要望について、実施の形態５のように「眉」への化粧では０．１９、実施の形態６のように「眼鏡」＋「口紅」では０．２５となることから、眼鏡と口紅を組み合わせてコーディネートすることが、眉のみを化粧するよりも高い適合度（ユーザーの要望をかなえる見られ方）となっていることが分かり、そのような結果を客観データとしてユーザーに提示することができることとなる。尚、「眉」＋「口紅」とか、「眉」＋「眼鏡」とか、「眉」＋「眼鏡」＋「口紅」やその他製品を組み合わせるなどは自由である。特に眼鏡と化粧はどちらも顔を装飾するアイテムであり、普段の生活で当たり前のように身につけるものであるため実施の形態６のように組み合わせて評価できることの意義は大きい。
【0035】
（実施の形態７）
実施の形態７では推奨される眼鏡画像の具体的な眼鏡を設計し、ユーザーに供給されるまでを説明する。
上記実施の形態１～５までで推奨システムで推奨された眼鏡を、ユーザーが購入すると決めると、推奨された眼鏡の画像データと適合度のデータの組が、製造情報として眼鏡フレームの製造者に知らされる。この製造情報はインターネット等のオンライン情報としてでも手紙・ファクシミリ等によるオフライン情報としてでもどちらでもよい。システムの場所が眼鏡店であれば、眼鏡レンズについてのデータも同時に知らされる。
眼鏡フレームの製造者は、知らされたデータに基づき、例えばプラスチックの成型等によって画像データと一致する眼鏡フレームを製造する。次に、製造された眼鏡フレームもしくはそのデータは、適合度のデータと眼鏡レンズの情報と共に、眼鏡レンズ製造者に送られる。眼鏡レンズメーカーは、送られたデータを基に眼鏡レンズを製造する。そして、眼鏡フレーム製造者や眼鏡レンズ製造者から眼鏡店に眼鏡フレームや眼鏡レンズが送付され、眼鏡店において眼鏡フレームに眼鏡レンズが組付けられ、推奨システムのユーザーに提供される。
実施の形態３の設計システムを使って眼鏡フレームの設計が行われた際の製造方法を説明する。設計システムで設計された眼鏡フレームの製造が決定すると、製品の画像データと適合度のデータの組が、眼鏡フレームの製造者に送信される。眼鏡フレームの製造者は、送信されたデータに基づき、プラスチックの成型等によって画像データと一致する眼鏡フレームを製造する。製造された眼鏡フレームは設計システムの利用者もしくは購入の契約を結んだ顧客に送付される。
実施の形態７では推奨される眼鏡画像の具体的な眼鏡を設計し、ユーザーに供給されるまでを説明する。
上記実施の形態１～５までで推奨システムで推奨された眼鏡を、ユーザーが購入すると決めると、推奨された眼鏡の画像データと適合度のデータの組が、製造情報として眼鏡フレームの製造者に知らされる。この製造情報はインターネット等のオンライン情報としてでも手紙・ファクシミリ等によるオフライン情報としてでもどちらでもよい。システムの場所が眼鏡店であれば、眼鏡レンズについてのデータも同時に知らされる。
眼鏡フレームの製造者は、知らされたデータに基づき、例えばプラスチックの成型等によって画像データと一致する眼鏡フレームを製造する。次に、製造された眼鏡フレームもしくはそのデータは、適合度のデータと眼鏡レンズの情報と共に、眼鏡レンズ製造者に送られる。眼鏡レンズメーカーは、送られたデータを基に眼鏡レンズを製造する。そして、眼鏡フレーム製造者や眼鏡レンズ製造者から眼鏡店に眼鏡フレームや眼鏡レンズが送付され、眼鏡店において眼鏡フレームに眼鏡レンズが組付けられ、推奨システムのユーザーに提供される。
実施の形態３の設計システムを使って眼鏡フレームの設計が行われた際の製造方法を説明する。設計システムで設計された眼鏡フレームの製造が決定すると、製品の画像データと適合度のデータの組が、眼鏡フレームの製造者に送信される。眼鏡フレームの製造者は、送信されたデータに基づき、プラスチックの成型等によって画像データと一致する眼鏡フレームを製造する。製造された眼鏡フレームは設計システムの利用者もしくは購入の契約を結んだ顧客に送付される。
【0036】
（実施の形態８）
実施の形態８は、実施の形態１や実施の形態２と同じく、装飾品等として眼鏡を販売する店舗において、適応度合いの算出によって顧客に眼鏡を推奨する場合の例である。本実施の形態８はユーザーが友人を伴い眼鏡店に訪問した事例であり、本人又はその友人によって第３の画像を取得して評価値を補正する例である。本実施の形態８においても実施の形態１と同様に算出用コンピュータ装置１のＣＰＵ７によって処理が実行される。実施の形態８でも実施の形態１の段落００２６の（１）～（６）のメイン制御が実行され、更に、加えて次のような制御（演算）が実行される。
（７）第２の画像をモニター２の画面上に表示し、表示された第２の画像をユーザーまたはユーザーでない第三者（例えば、友人、家族など）が見た際のユーザーまたはユーザーでない第三者の顔画像をカメラ４で撮像して第３の顔画像を取得し、第３の顔画像のデータを記憶装置８内に一旦記憶させる。
（８）記憶装置８に記憶させた第３の顔画像の顔画像データに基づいて顔画像評価器５に評価値（第３の評価値）を算出させ、その結果を記憶装置８内に一旦記憶させる。
（９）評価したい第２の画像が別にある場合には、第２の顔画像を変更して（７）、（８）の制御を繰り返し実施する。複数の第３の評価値が記憶装置８内に記憶された状態になる。
（１０）複数の第３の評価値を記憶装置８から呼び出し、（３）の制御において呼び出した複数の装飾品（あるいは日用品）それぞれと複数の第３の評価値を対応させ、第３の評価値より算出した適合度合いを算出する。
（１１）第１の評価値と第２の評価値から算出した適合度合いを第３の評価値より算出した適合度合いを用いて補正する。制御（６）補正した適合度合いをモニター２の画面上に表示する。このとき、例えば、補正した適合度合いに加えて、第１の評価値と第２の評価値から算出した適合度合いと、第３の評価値より算出した適合度合いをモニター２の画面上に表示してもよい。
実施の形態８は、実施の形態１や実施の形態２と同じく、装飾品等として眼鏡を販売する店舗において、適応度合いの算出によって顧客に眼鏡を推奨する場合の例である。本実施の形態８はユーザーが友人を伴い眼鏡店に訪問した事例であり、本人又はその友人によって第３の画像を取得して評価値を補正する例である。本実施の形態８においても実施の形態１と同様に算出用コンピュータ装置１のＣＰＵ７によって処理が実行される。実施の形態８でも実施の形態１の段落００２６の（１）～（６）のメイン制御が実行され、更に、加えて次のような制御（演算）が実行される。
（７）第２の画像をモニター２の画面上に表示し、表示された第２の画像をユーザーまたはユーザーでない第三者（例えば、友人、家族など）が見た際のユーザーまたはユーザーでない第三者の顔画像をカメラ４で撮像して第３の顔画像を取得し、第３の顔画像のデータを記憶装置８内に一旦記憶させる。
（８）記憶装置８に記憶させた第３の顔画像の顔画像データに基づいて顔画像評価器５に評価値（第３の評価値）を算出させ、その結果を記憶装置８内に一旦記憶させる。
（９）評価したい第２の画像が別にある場合には、第２の顔画像を変更して（７）、（８）の制御を繰り返し実施する。複数の第３の評価値が記憶装置８内に記憶された状態になる。
（１０）複数の第３の評価値を記憶装置８から呼び出し、（３）の制御において呼び出した複数の装飾品（あるいは日用品）それぞれと複数の第３の評価値を対応させ、第３の評価値より算出した適合度合いを算出する。
（１１）第１の評価値と第２の評価値から算出した適合度合いを第３の評価値より算出した適合度合いを用いて補正する。制御（６）補正した適合度合いをモニター２の画面上に表示する。このとき、例えば、補正した適合度合いに加えて、第１の評価値と第２の評価値から算出した適合度合いと、第３の評価値より算出した適合度合いをモニター２の画面上に表示してもよい。
【0037】
以下、図１６のフローチャートに従い説明する。実施の形態１や実施の形態２と同じ内容については省略して記載する。
ステップＳ１１において、ＣＰＵ７は撮像されたユーザーの顔画像を第１の画像としてモニター画面に表示させる。第１の画像と合わせ、モニター画面には、ユーザーが購入を検討している図７の１２Ａ～１２Ｃの３つの眼鏡が表示され、実施の形態１の要望（なりたい姿）入力とともに、ユーザーの要望入力画面として「眼鏡が似合うかどうかについて、自分もしくは身近な人の意見はどれぐらい重要ですか？」の質問とともに「１：大いに重要、２：重要、３：気にしない、４：まったく気にしない」の回答がタッチパネル方式で入力できるように画面に表示されて入力が促される。「１：大いに重要」「２：重要」が入力される場合には以下に説明するように第３の評価値の重み係数を大きくして反映されることとなる。
ステップＳ１２において、入力に基づいてＣＰＵ７は所定の重み係数を設定し計算を実行する。例えば、上記の入力として「２：重要」が選択されると更なる質問として、「似合うかどうかで重要なのは、１：自分の意見ですか？２：他人の意見ですか？」という質問がされる。ここでは、「１：自分の意見」を選んだものとする。
ここで、１つ目の質問で、「２：重要」を選んだことにより、適合度合いの算出の際には第１の評価値と第２の評価値が１の重み付けをされ（重み係数０．３３と設定される）、第３の評価値が２の重み（重み係数０．６６と設定される）をつけて評価されるように設定される。また、ふたつ目の質問で「１：自分の意見」を選んだことにより「ご本人が画面の正面にお座りください」という指示が画面に表示され、ユーザーはそれに従い画面の正面に座ることで、備え付けのカメラ４によりユーザーの顔画像をいつでも取得できる状態となる。これは第３の顔画像をユーザー本人から取得する場合の処理である。
一方、２つ目の質問で「２：他人の意見」を選んでいた場合には「評価してほしい方に画面の正面に座っていただいてください」との指示が出て、同伴した友人に画面の正面の座ってもらい、備え付けのカメラ４により友人の顔画像を取得することとなる。これは第３の顔画像を他人から取得する場合の処理である。尚、本実施の形態８では説明のため被撮影者がカメラ４の正面に位置するように指示した事例を示したが、カメラの前に評価のために移動することで被撮影者の自然な表情が取得できなくなることがある。そのため、評価者とカメラの位置について指定せず、カメラ４に広角のカメラを用いるなどしてユーザーとユーザー以外の評価者（本実施の形態では友人）を同時にカメラに撮影して、複数の顔画像からユーザーまたはユーザー以外の評価者を識別器により選定して第３の顔画像を取得するようにすることがよい。
ステップＳ１１において、ＣＰＵ７は撮像されたユーザーの顔画像を第１の画像としてモニター画面に表示させる。第１の画像と合わせ、モニター画面には、ユーザーが購入を検討している図７の１２Ａ～１２Ｃの３つの眼鏡が表示され、実施の形態１の要望（なりたい姿）入力とともに、ユーザーの要望入力画面として「眼鏡が似合うかどうかについて、自分もしくは身近な人の意見はどれぐらい重要ですか？」の質問とともに「１：大いに重要、２：重要、３：気にしない、４：まったく気にしない」の回答がタッチパネル方式で入力できるように画面に表示されて入力が促される。「１：大いに重要」「２：重要」が入力される場合には以下に説明するように第３の評価値の重み係数を大きくして反映されることとなる。
ステップＳ１２において、入力に基づいてＣＰＵ７は所定の重み係数を設定し計算を実行する。例えば、上記の入力として「２：重要」が選択されると更なる質問として、「似合うかどうかで重要なのは、１：自分の意見ですか？２：他人の意見ですか？」という質問がされる。ここでは、「１：自分の意見」を選んだものとする。
ここで、１つ目の質問で、「２：重要」を選んだことにより、適合度合いの算出の際には第１の評価値と第２の評価値が１の重み付けをされ（重み係数０．３３と設定される）、第３の評価値が２の重み（重み係数０．６６と設定される）をつけて評価されるように設定される。また、ふたつ目の質問で「１：自分の意見」を選んだことにより「ご本人が画面の正面にお座りください」という指示が画面に表示され、ユーザーはそれに従い画面の正面に座ることで、備え付けのカメラ４によりユーザーの顔画像をいつでも取得できる状態となる。これは第３の顔画像をユーザー本人から取得する場合の処理である。
一方、２つ目の質問で「２：他人の意見」を選んでいた場合には「評価してほしい方に画面の正面に座っていただいてください」との指示が出て、同伴した友人に画面の正面の座ってもらい、備え付けのカメラ４により友人の顔画像を取得することとなる。これは第３の顔画像を他人から取得する場合の処理である。尚、本実施の形態８では説明のため被撮影者がカメラ４の正面に位置するように指示した事例を示したが、カメラの前に評価のために移動することで被撮影者の自然な表情が取得できなくなることがある。そのため、評価者とカメラの位置について指定せず、カメラ４に広角のカメラを用いるなどしてユーザーとユーザー以外の評価者（本実施の形態では友人）を同時にカメラに撮影して、複数の顔画像からユーザーまたはユーザー以外の評価者を識別器により選定して第３の顔画像を取得するようにすることがよい。
【0038】
次いで、ステップＳ１３において第２の画像の呈示に基づいて第３の画像の取得のための処理が実行される。具体的には次のように実行される。
まず、ＣＰＵ７は第２の画像として、まず１２Ｂの眼鏡をかけたユーザーの顔の画面を表示させる。そして、モニター前に着座する人にモニター画面でこの顔の画面を見るように促す。ＣＰＵ７は第２の顔画像を表示する直前から直後にかけて、例えば表示する２秒前から２秒後にかけて備え付けのカメラ４を制御してモニター前に着座する人の画像を撮影する。こうすることによって第２の顔画像を提示する直前の被撮影者の顔画像（表情）と第２の顔画像を提示した直後の被撮影者の顔画像（表情）と比べることができ、１２Ｂの眼鏡（をかけたユーザーの顔）が提示されたことによって表情の変化したユーザーの顔の画像が取得できる。第２の画像を見た後の画像を顔の領域のみを切り出し角度を調整するなど処理を行い「第３の顔画像」とする。
また、第２の顔画像を提示する直前の被撮影者の顔画像を同様に切り出し処理を行い「第４の顔画像」とする。第４の顔画像と第３の顔画像を顔表情評価器で評価して第４の評価値と第３の評価値を算出し、第３の評価値と第４の評価値の差分値を求めることにより、第２の顔画像を見てどのように感じたのかの表情変化を評価できることとなる。ここで、第２の顔画像を見てどのように感じたのかを取得するためには、第２の顔画像提示前後の変化を見ることがより正確であるため、「第４の顔画像」に対して、「第３の顔画像」がどのように変化したのかを取得することがより好ましいが、「第３の顔画像」だけの情報にも第２の顔画像を見た時に感じた情報が含まれている。
第２の画像を提示されたことで変化したユーザーの表情の顔には、ユーザーが１２Ｂの眼鏡を装用したユーザー自身の顔を見てどのように感じたかが反映されている。上記では１２Ｂの眼鏡を装用した場合について詳しく説明したが、１２Ａの眼鏡、１２Ｃの眼鏡に対しても同様にこれらの眼鏡をかけたユーザーの顔の画面を表示させ「第３の顔画像」とその評価値を取得する。各眼鏡に基づいて得られた複数種類（３つ）の「第３の顔画像」の評価値に基づいて適合度の算出が行われることとなる。
１２Ａ～１２Ｃの眼鏡に対する「第３の顔画像」の取得とその評価値の算出は、１度ずつでもよいが、通常は比較検討したいため、「第２の顔画像」はランダムな順序で繰り返し表示することがよく、ユーザーもしくはユーザーの友人等が自ら画像を切り替えることがよりよい。ユーザーもしくはユーザーの友人等が自ら画像を切り替えられるように、第２の顔画像の変更のためタッチパネルやマウス、入力ボタン等の入力手段を有することがよい。
まず、ＣＰＵ７は第２の画像として、まず１２Ｂの眼鏡をかけたユーザーの顔の画面を表示させる。そして、モニター前に着座する人にモニター画面でこの顔の画面を見るように促す。ＣＰＵ７は第２の顔画像を表示する直前から直後にかけて、例えば表示する２秒前から２秒後にかけて備え付けのカメラ４を制御してモニター前に着座する人の画像を撮影する。こうすることによって第２の顔画像を提示する直前の被撮影者の顔画像（表情）と第２の顔画像を提示した直後の被撮影者の顔画像（表情）と比べることができ、１２Ｂの眼鏡（をかけたユーザーの顔）が提示されたことによって表情の変化したユーザーの顔の画像が取得できる。第２の画像を見た後の画像を顔の領域のみを切り出し角度を調整するなど処理を行い「第３の顔画像」とする。
また、第２の顔画像を提示する直前の被撮影者の顔画像を同様に切り出し処理を行い「第４の顔画像」とする。第４の顔画像と第３の顔画像を顔表情評価器で評価して第４の評価値と第３の評価値を算出し、第３の評価値と第４の評価値の差分値を求めることにより、第２の顔画像を見てどのように感じたのかの表情変化を評価できることとなる。ここで、第２の顔画像を見てどのように感じたのかを取得するためには、第２の顔画像提示前後の変化を見ることがより正確であるため、「第４の顔画像」に対して、「第３の顔画像」がどのように変化したのかを取得することがより好ましいが、「第３の顔画像」だけの情報にも第２の顔画像を見た時に感じた情報が含まれている。
第２の画像を提示されたことで変化したユーザーの表情の顔には、ユーザーが１２Ｂの眼鏡を装用したユーザー自身の顔を見てどのように感じたかが反映されている。上記では１２Ｂの眼鏡を装用した場合について詳しく説明したが、１２Ａの眼鏡、１２Ｃの眼鏡に対しても同様にこれらの眼鏡をかけたユーザーの顔の画面を表示させ「第３の顔画像」とその評価値を取得する。各眼鏡に基づいて得られた複数種類（３つ）の「第３の顔画像」の評価値に基づいて適合度の算出が行われることとなる。
１２Ａ～１２Ｃの眼鏡に対する「第３の顔画像」の取得とその評価値の算出は、１度ずつでもよいが、通常は比較検討したいため、「第２の顔画像」はランダムな順序で繰り返し表示することがよく、ユーザーもしくはユーザーの友人等が自ら画像を切り替えることがよりよい。ユーザーもしくはユーザーの友人等が自ら画像を切り替えられるように、第２の顔画像の変更のためタッチパネルやマウス、入力ボタン等の入力手段を有することがよい。
【0039】
次いで、ＣＰＵ７はステップＳ１４においてユーザーからの「評価実行」の指示に基づいて適合度を算出する。
適合度計算においては、顔画像評価器を用いて第１の顔画像から第１の評価値を出力し、第２の顔画像から第２の評価値を出力し、第１の評価値と第２の評価値から算出した適合度を、第３の顔画像を顔画像評価器で評価した第３の評価値を用いて補正する。ステップＳ１４の具体的な適合度計算は以下の様になる。第１の顔画像と第２の顔画像から適合度を算出するまでは実施の形態１や実施の形態２と同様なので詳細は省略するが、今回はこの時点で適合度は１２Ａの眼鏡に対して０．２４、１２Ｂの眼鏡に対して０．４８、１２Ｃの眼鏡に対して０．０１となった。ここから更に第３の評価値を用いて適合度の補正を行う。今回は第３の評価値を算出する際、顔表情識別器の出力から「喜び（Ｈａｐｐｙ）」に対して１．０、「怒り（Ａｎｇｅｒ）」に対して－１．０、それ以外に対して０．０と重み係数をつけて足し合わせた結果を第３の評価値とするように設定してあるとする。１２Ｂの眼鏡に対する顔表情識別器の出力は中立の値で０．３３、喜びの値で０．２２、怒りの値で０．１３、悲しみの値で０．１３、驚きの値で０．１０であったため１２Ｂの眼鏡に対する第３の評価値は１．０×０．２２－１．０×０．１３＝０．０９となる。１２Ａの眼鏡に対しても同様に、第３の画像を顔表情識別器で評価したときの出力は、中立の値で０．３５、喜びの値で０．３９、怒りの値で０．１４、悲しみの値で０．０４、驚きの値で０．０８であったため、１２Ａの眼鏡の第３の評価値は１．０×０．３９－１．０×０．１４＝０．２５となる。１２Ｃの眼鏡に対しても、第３の画像を顔表情識別器で評価したときの出力は、中立の値で０．４１、喜びの値で０．１８、怒りの値で０．１１、悲しみの値で０．１３、驚きの値で０．１４であったため、１２Ｃの眼鏡の第３の評価値は１．０×０．１８－１．０×０．１１＝０．０７となる。これら第３の評価値を用いてステップＳ１２で設定された重みで適応度を補正すると、眼鏡１２Ａで０．３３×０．２４＋０．６６×０．２５＝０．２４、眼鏡１２Ｂで０．３３×０．４８＋０．６６×０．０９＝０．２２、眼鏡１２Ｃで０．３３×０．０１＋０．６６×０．０７＝０．０５となった。すなわち、不特定多数の評価者を想定したＡＩによる評価値は、１２Ａ：１２Ｂ：１２Ｃ＝０．２４：０．４８：０．０１で１２Ｂが最も高い評価であるが、被撮影者（本実施の形態ではユーザー本人）がどのように感じたのかを考慮した評価値は１２Ａ：１２Ｂ：１２Ｃ＝０．２４：０．２２：０．０５となり、１２Ａが最も高い評価値となる。また、被撮影者の評価値は１２Ａ：１２Ｂ：１２Ｃ＝０．２５：０．０９：０．０７となり、被撮影者の表情からは１２Ａが最も気に入っているということが推定される。
次いで、ステップＳ１５でＣＰＵ７は、ステップＳ１４で算出された適合度の大きい方から１２Ａ、１２Ｂ、１２Ｃの順でモニター２の画面に表示させ、もしくは１２Ａ、１２Ｂ、１２Ｃを並べてモニター２の画面に表示させ眼鏡の推奨が行われる。このとき、評価結果として、「ＡＩによるおすすめ」として第３の評価値で補正する前の評価値（眼鏡１２Ａ・・・０．２４、眼鏡１２Ｂ・・・０．４８、眼鏡Ｃ・・・０．０１）、「あなたのお気に入り度」として第３の評価値（眼鏡１２Ａ・・・０．２５、眼鏡１２Ｂ・・・０．０９、眼鏡Ｃ・・・０．０７）、「総合的なおすすめ」として第３の評価値で補正した後の評価値（眼鏡１２Ａ・・・０．２４、眼鏡１２Ｂ・・・０．２２、眼鏡Ｃ・・・０．０５）が各眼鏡の画像の下部に表示される。ユーザーはこれらの情報をもとにして、不特定多数の評価者や自分自身または友人や家族などの特定の評価者の評価を考慮してどの製品が似合っているかどうかを評価値として得ることができ、製品の購入検討をすることができることとなる。
このように構成することで、コンピュータが最適であるとした眼鏡の評価に加えて、その眼鏡を装用時のユーザーについてユーザーまたはユーザー以外の評価者がどのように感じたかについての情報を反映させてユーザーに眼鏡を推奨することができる。
適合度計算においては、顔画像評価器を用いて第１の顔画像から第１の評価値を出力し、第２の顔画像から第２の評価値を出力し、第１の評価値と第２の評価値から算出した適合度を、第３の顔画像を顔画像評価器で評価した第３の評価値を用いて補正する。ステップＳ１４の具体的な適合度計算は以下の様になる。第１の顔画像と第２の顔画像から適合度を算出するまでは実施の形態１や実施の形態２と同様なので詳細は省略するが、今回はこの時点で適合度は１２Ａの眼鏡に対して０．２４、１２Ｂの眼鏡に対して０．４８、１２Ｃの眼鏡に対して０．０１となった。ここから更に第３の評価値を用いて適合度の補正を行う。今回は第３の評価値を算出する際、顔表情識別器の出力から「喜び（Ｈａｐｐｙ）」に対して１．０、「怒り（Ａｎｇｅｒ）」に対して－１．０、それ以外に対して０．０と重み係数をつけて足し合わせた結果を第３の評価値とするように設定してあるとする。１２Ｂの眼鏡に対する顔表情識別器の出力は中立の値で０．３３、喜びの値で０．２２、怒りの値で０．１３、悲しみの値で０．１３、驚きの値で０．１０であったため１２Ｂの眼鏡に対する第３の評価値は１．０×０．２２－１．０×０．１３＝０．０９となる。１２Ａの眼鏡に対しても同様に、第３の画像を顔表情識別器で評価したときの出力は、中立の値で０．３５、喜びの値で０．３９、怒りの値で０．１４、悲しみの値で０．０４、驚きの値で０．０８であったため、１２Ａの眼鏡の第３の評価値は１．０×０．３９－１．０×０．１４＝０．２５となる。１２Ｃの眼鏡に対しても、第３の画像を顔表情識別器で評価したときの出力は、中立の値で０．４１、喜びの値で０．１８、怒りの値で０．１１、悲しみの値で０．１３、驚きの値で０．１４であったため、１２Ｃの眼鏡の第３の評価値は１．０×０．１８－１．０×０．１１＝０．０７となる。これら第３の評価値を用いてステップＳ１２で設定された重みで適応度を補正すると、眼鏡１２Ａで０．３３×０．２４＋０．６６×０．２５＝０．２４、眼鏡１２Ｂで０．３３×０．４８＋０．６６×０．０９＝０．２２、眼鏡１２Ｃで０．３３×０．０１＋０．６６×０．０７＝０．０５となった。すなわち、不特定多数の評価者を想定したＡＩによる評価値は、１２Ａ：１２Ｂ：１２Ｃ＝０．２４：０．４８：０．０１で１２Ｂが最も高い評価であるが、被撮影者（本実施の形態ではユーザー本人）がどのように感じたのかを考慮した評価値は１２Ａ：１２Ｂ：１２Ｃ＝０．２４：０．２２：０．０５となり、１２Ａが最も高い評価値となる。また、被撮影者の評価値は１２Ａ：１２Ｂ：１２Ｃ＝０．２５：０．０９：０．０７となり、被撮影者の表情からは１２Ａが最も気に入っているということが推定される。
次いで、ステップＳ１５でＣＰＵ７は、ステップＳ１４で算出された適合度の大きい方から１２Ａ、１２Ｂ、１２Ｃの順でモニター２の画面に表示させ、もしくは１２Ａ、１２Ｂ、１２Ｃを並べてモニター２の画面に表示させ眼鏡の推奨が行われる。このとき、評価結果として、「ＡＩによるおすすめ」として第３の評価値で補正する前の評価値（眼鏡１２Ａ・・・０．２４、眼鏡１２Ｂ・・・０．４８、眼鏡Ｃ・・・０．０１）、「あなたのお気に入り度」として第３の評価値（眼鏡１２Ａ・・・０．２５、眼鏡１２Ｂ・・・０．０９、眼鏡Ｃ・・・０．０７）、「総合的なおすすめ」として第３の評価値で補正した後の評価値（眼鏡１２Ａ・・・０．２４、眼鏡１２Ｂ・・・０．２２、眼鏡Ｃ・・・０．０５）が各眼鏡の画像の下部に表示される。ユーザーはこれらの情報をもとにして、不特定多数の評価者や自分自身または友人や家族などの特定の評価者の評価を考慮してどの製品が似合っているかどうかを評価値として得ることができ、製品の購入検討をすることができることとなる。
このように構成することで、コンピュータが最適であるとした眼鏡の評価に加えて、その眼鏡を装用時のユーザーについてユーザーまたはユーザー以外の評価者がどのように感じたかについての情報を反映させてユーザーに眼鏡を推奨することができる。
【0040】
上記実施の形態は本発明の原理およびその概念を例示するための具体的な実施の形態として記載したにすぎない。つまり、本発明は上記の実施の形態に限定されるものではない。本発明は、例えば次のように変更した態様で具体化することも可能である。
・上記各実施の形態における計算において使用される評価項目や特徴量は一例であり、他の評価項目や特徴量を含んだり上記とは違う評価項目や特徴量を使用して計算をするようにしてもよい。
・上記実施の形態１～５、実施の形態７、８は製品等として眼鏡に関する実施の形態であったが、この思想に他の装飾品又は日用品、もしくは化粧又は髪型等を適用するように実施してもよい。
・上記各実施の形態における評価値の算出、あるいは適合度の算出で使用する計算方法は一例である。他の計算方法を適用するようにしてもよい。
・上記の重みの数値は一例である。変更することも自由である。
・上記実施の形態ではコンピュータ装置１のＣＰＵ７によってコンピュータ装置１内において計算が行われるような構成であったが、インターネット回線を介して例えばクラウド上で計算をしてもよい。また、計算結果も記憶装置８ではなくンターネット回線を介して例えばクラウド上に格納するようにしてもよい。
・上記では一例として眼鏡、眉、口紅を例示したが、その他第１の顔画像に対して画像を重ねられる装飾品又は日用品、もしくは化粧又は髪型であって、第１の顔画像データと異なる第２の顔画像データが取得できて顔画像評価器を用いて評価値が得られるのであればどのような装飾品又は日用品、もしくは化粧又は髪型であってもよい。
・上記実施の形態８ではカメラ４で取得した第３の顔画像は、静止画として評価しても動画として評価してもよい。第３の顔画像の評価値としての第３の評価値は静止画を顔画像評価器に評価させて取得してもよいが、第３の顔画像として、表情の変化を記録しておき、表情の変化を顔画像評価器で評価してもよい。第３の顔画像は、ある一瞬を評価してもよく、少しずつ撮像タイミングが異なる複数の画像について評価し、その評価の最高値や最低値、平均値などを第３の評価値とするなどアレンジは自由である。
・第３の顔画像は、第４の顔画像との差分で算出することがよい。第３の顔画像、第４の顔画像についてそれぞれ表価値を算出してからその差分を求めてもよいが、第３の顔画像と第４の顔画像の差分画像を求め、その差分画像を顔画像評価器で評価してもよい。このようにすると、評価値と表情の変化の対応が理解しやすくなるためよい。
本願発明は上述した実施の形態に記載の構成に限定されない。上述した各実施の形態や変形例の構成要素は任意に選択して組み合わせて構成するとよい。また各実施の形態や変形例の任意の構成要素と、発明を解決するための手段に記載の任意の構成要素または発明を解決するための手段に記載の任意の構成要素を具体化した構成要素とは任意に組み合わせて構成するとよい。これらについても本願の補正または分割出願等において権利取得する意思を有する。
また、意匠出願への変更出願により、全体意匠または部分意匠について権利取得する意思を有する。図面は本装置の全体を実線で描画しているが、全体意匠のみならず当該装置の一部の部分に対して請求する部分意匠も包含した図面である。例えば当該装置の一部の部材を部分意匠とすることはもちろんのこと、部材と関係なく当該装置の一部の部分を部分意匠として包含した図面である。当該装置の一部の部分としては、装置の一部の部材としてもよいし、その部材の部分としてもよい。
・上記各実施の形態における計算において使用される評価項目や特徴量は一例であり、他の評価項目や特徴量を含んだり上記とは違う評価項目や特徴量を使用して計算をするようにしてもよい。
・上記実施の形態１～５、実施の形態７、８は製品等として眼鏡に関する実施の形態であったが、この思想に他の装飾品又は日用品、もしくは化粧又は髪型等を適用するように実施してもよい。
・上記各実施の形態における評価値の算出、あるいは適合度の算出で使用する計算方法は一例である。他の計算方法を適用するようにしてもよい。
・上記の重みの数値は一例である。変更することも自由である。
・上記実施の形態ではコンピュータ装置１のＣＰＵ７によってコンピュータ装置１内において計算が行われるような構成であったが、インターネット回線を介して例えばクラウド上で計算をしてもよい。また、計算結果も記憶装置８ではなくンターネット回線を介して例えばクラウド上に格納するようにしてもよい。
・上記では一例として眼鏡、眉、口紅を例示したが、その他第１の顔画像に対して画像を重ねられる装飾品又は日用品、もしくは化粧又は髪型であって、第１の顔画像データと異なる第２の顔画像データが取得できて顔画像評価器を用いて評価値が得られるのであればどのような装飾品又は日用品、もしくは化粧又は髪型であってもよい。
・上記実施の形態８ではカメラ４で取得した第３の顔画像は、静止画として評価しても動画として評価してもよい。第３の顔画像の評価値としての第３の評価値は静止画を顔画像評価器に評価させて取得してもよいが、第３の顔画像として、表情の変化を記録しておき、表情の変化を顔画像評価器で評価してもよい。第３の顔画像は、ある一瞬を評価してもよく、少しずつ撮像タイミングが異なる複数の画像について評価し、その評価の最高値や最低値、平均値などを第３の評価値とするなどアレンジは自由である。
・第３の顔画像は、第４の顔画像との差分で算出することがよい。第３の顔画像、第４の顔画像についてそれぞれ表価値を算出してからその差分を求めてもよいが、第３の顔画像と第４の顔画像の差分画像を求め、その差分画像を顔画像評価器で評価してもよい。このようにすると、評価値と表情の変化の対応が理解しやすくなるためよい。
本願発明は上述した実施の形態に記載の構成に限定されない。上述した各実施の形態や変形例の構成要素は任意に選択して組み合わせて構成するとよい。また各実施の形態や変形例の任意の構成要素と、発明を解決するための手段に記載の任意の構成要素または発明を解決するための手段に記載の任意の構成要素を具体化した構成要素とは任意に組み合わせて構成するとよい。これらについても本願の補正または分割出願等において権利取得する意思を有する。
また、意匠出願への変更出願により、全体意匠または部分意匠について権利取得する意思を有する。図面は本装置の全体を実線で描画しているが、全体意匠のみならず当該装置の一部の部分に対して請求する部分意匠も包含した図面である。例えば当該装置の一部の部材を部分意匠とすることはもちろんのこと、部材と関係なく当該装置の一部の部分を部分意匠として包含した図面である。当該装置の一部の部分としては、装置の一部の部材としてもよいし、その部材の部分としてもよい。
【符号の説明】
【0041】
１…コンピュータ装置、４…第１の手段であるカメラ、５…顔画像評価器起、７…第２の手段、第３の手段、第４の手段、第５の手段を構成するＣＰＵ、１０、２１、２５、２８…第１の顔画像、１２Ａ～１２Ｃ…装飾品あるいは日用品である眼鏡の画像、１３Ａ～１３Ｃ、２２Ａ～２２Ｘ、２７、２９…第２の顔画像。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】