IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アイジャパン株式会社の特許一覧 ▶ アクシオヘリックス株式会社の特許一覧

特開2023-78857アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム
<>
  • 特開-アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム 図1
  • 特開-アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム 図2
  • 特開-アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム 図3
  • 特開-アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム 図4
  • 特開-アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム 図5
  • 特開-アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム 図6
  • 特開-アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム 図7
  • 特開-アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム 図8
  • 特開-アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム 図9
  • 特開-アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム 図10
  • 特開-アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム 図11
  • 特開-アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム 図12
  • 特開-アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム 図13
  • 特開-アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム 図14
  • 特開-アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム 図15
  • 特開-アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム 図16
  • 特開-アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム 図17
  • 特開-アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム 図18
  • 特開-アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム 図19
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023078857
(43)【公開日】2023-06-07
(54)【発明の名称】アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム
(51)【国際特許分類】
   G06Q 30/015 20230101AFI20230531BHJP
【FI】
G06Q30/02 470
【審査請求】有
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2021192164
(22)【出願日】2021-11-26
(11)【特許番号】
(45)【特許公報発行日】2022-07-05
(71)【出願人】
【識別番号】399068225
【氏名又は名称】アイジャパン株式会社
(71)【出願人】
【識別番号】510235969
【氏名又は名称】アクシオヘリックス株式会社
(74)【代理人】
【識別番号】100082418
【弁理士】
【氏名又は名称】山口 朔生
(74)【代理人】
【識別番号】100167601
【弁理士】
【氏名又は名称】大島 信之
(74)【代理人】
【識別番号】100201329
【弁理士】
【氏名又は名称】山口 真二郎
(74)【代理人】
【識別番号】100220917
【弁理士】
【氏名又は名称】松本 忠大
(72)【発明者】
【氏名】高橋 渉
(72)【発明者】
【氏名】大杉 勝洋
(72)【発明者】
【氏名】西 典子
(72)【発明者】
【氏名】平良 拓
(72)【発明者】
【氏名】上猶 稔
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049BB08
(57)【要約】
【課題】統一した基準で分類されたアイウェアのデータベースから、ユーザに似合うアイウェアをシステム側で抽出・提案することで、ユーザが好みのアイウェアの選択・購入をよりスムーズに実行可能とすること。
【解決手段】アイウェア画像を読み込んで、機械学習によってアイウェアの分類結果(玉型配分情報およびカラー配分情報)を出力する分類手段10と、アイウェア画像および分類結果を蓄積するデータベース20と、顔データから生成した玉型診断情報およびカラー診断情報に近似する玉型配分情報およびカラー配分情報を有するアイウェアを、似合うアイウェアとして抽出する選定手段30と、アイウェア画像をユーザの顔データに合成してなる試着画像を生成・表示する試着手段40とを少なくとも具備する。試着手段40では抽出結果から保存した試着画像を一覧表示可能とすることで、ユーザによるアイウェアの候補選択作業の利便性を高めることができる。
【選択図】図1
【特許請求の範囲】
【請求項1】
ユーザが操作する端末の画面上でアイウェアの仮想試着を可能とする、アイウェア仮想試着システムであって、
アイウェア画像を読み込んで、アイウェアの分類結果を出力する、分類手段と、
アイウェア毎に、少なくとも試着用データおよび前記分類結果を蓄積する、データベースと、
ユーザの顔データに基づいて、前記データベースから少なくとも一つ以上のアイウェアを選定する、選定手段と、
選定されたアイウェアの試着用データをユーザの顔データに合成してなる試着画像を生成・表示する、試着手段と、
を少なくとも具備し、
前記分類手段が、
入力層と出力層とを備え、前記入力層の入力データをアイウェアの撮影画像とし、前記出力層の出力データを当該アイウェアの玉型情報およびフレーム色情報とする、ニューラルネットワークと、
前記入力データ及び前記出力データの実績値を教師データとして前記ニューラルネットワークを学習させる、機械学習部と、
前記機械学習部にて学習させたニューラルネットワークに、前記アイウェア画像を入力し、当該アイウェア画像に対する、玉型の種別毎の推定情報からなる玉型配分情報、およびフレーム色の種別毎の推定情報からなるカラー配分情報を求める、推定部と、
を少なくとも含み、
前記選定手段が、
ユーザの顔データから求めた特徴量に基づいて、玉型の種別毎の配点情報を含む、玉型診断情報と、フレーム色の種別毎の配点情報を含む、カラー診断情報を算出する、特徴診断部と、
前記データベースを参照して、前記玉型診断情報およびカラー診断情報に近似する前記玉型配分情報およびカラー配分情報を有するアイウェアを抽出する、商品絞込部と、
を少なくとも含み、
前記試着手段が、
前記選定手段で選定されたアイウェアの中から、ユーザが選択したアイウェアの試着用データを前記顔データに合成してなる試着画像を生成する、試着画像生成部と、
前記試着画像を保存可能な、試着画像保存部と、
保存された複数の前記試着画像から少なくとも二つ以上の試着画像を画面上に一覧表示する、試着画像一覧表示部と、
を少なくとも含む、
ことを特徴とする、アイウェア仮想試着システム。
【請求項2】
前記特徴診断部において、
玉型診断情報およびカラー診断情報の算出に、スタイリストの選定基準を模擬するように玉型毎およびカラー毎に予め設定される、個性パラメータを用いることを特徴とする、
請求項1に記載のアイウェア仮想試着システム。
【請求項3】
前記特徴診断部において、
前記玉型診断情報が、
ユーザの顔データから算出した複数項目の特徴量のうち、任意の項目の特徴量と、前記個性パラメータの乗算でもって、玉型毎にスコア値を算出した、玉型用診断スコアを少なくとも1つ以上求める処理と、
各玉型用診断スコアから、何れか1つの玉型種別のスコア値を抜き出してなる組合せを生成し、当該組合せの中で、各スコア値の合算値が最大の組合せを、玉型診断情報とする処理と、
によって生成されることを特徴とする、
請求項1または2に記載のアイウェア仮想試着システム。
【請求項4】
前記特徴診断部において、
前記カラー診断情報が、
ユーザの顔データから算出した複数項目の特徴量のうち、任意の項目の特徴量と、前記個性パラメータの乗算でもって、フレーム色毎にスコア値を算出した、カラー用診断スコアを少なくとも1つ以上求める処理と、
各カラー用診断スコアから、何れか1つのフレーム色種別のスコア値を抜き出してなる組合せを生成し、当該組合せの中で、各スコア値の合算値が最大の組合せを、カラー診断情報とする処理と、
によって生成されることを特徴とする、
請求項1乃至3のうち何れか1項に記載のアイウェア仮想試着システム。
【請求項5】
前記分類手段において、
前記入力層の入力データとして使用するアイウェアの撮影画像が、当該アイウェアの弦部分の一部又は全部を除去した画像であることを特徴とする、
請求項1乃至4のうち何れか1項に記載のアイウェア仮想試着システム。
【請求項6】
前記試着画像生成部において、
前記顔データにおける虹彩サイズを基準として、前記顔データと前記試着用データとの寸法比を調整してから、前記顔データと試着用データを合成することを特徴とする、
請求項1乃至5のうち何れか1項に記載のアイウェア仮想試着システム。
【請求項7】
情報処理装置を用いて構成する、アイウェア選定システムであって、
ユーザの顔データから求めた特徴量に基づいて、玉型の種別毎の配点情報を含む、玉型診断情報を算出する、特徴診断部と、
アイウェア毎にデータベースに蓄積される、アイウェアの玉型の種別毎の配点情報を含む玉型配分情報を参照して、前記玉型診断情報に近似する前記玉型配分情報を有するアイウェアを抽出する、商品絞込部と、
を少なくとも含んでなることを特徴とする、
アイウェア選定システム。
【請求項8】
前記特徴診断部において、
玉型診断情報の算出に、スタイリストの選定基準を模擬するように玉型毎に予め設定される、個性パラメータを用いることを特徴とする、
請求項7に記載のアイウェア選定システム。
【請求項9】
情報処理装置を用いて構成する、アイウェア選定システムであって、
ユーザの顔データから求めた特徴量に基づいて、玉型の種別毎の配点情報を含む、玉型診断情報と、フレーム色の種別毎の配点情報を含む、カラー診断情報を算出する、特徴診断部と、
アイウェア毎にデータベースに蓄積される、アイウェアの玉型の種別毎の配点情報を含む玉型配分情報および、アイウェアのフレーム色の種別毎の配点情報を含むカラー配分情報を参照して、前記玉型診断情報およびカラー診断情報に近似する前記玉型配分情報およびカラー配分情報を有するアイウェアを抽出する、商品絞込部と、
を少なくとも含んでなることを特徴とする、
アイウェア選定システム。
【請求項10】
前記特徴診断部において、
玉型診断情報およびカラー診断情報の算出に、スタイリストの選定基準を模擬するように玉型毎およびカラー毎に予め設定される、個性パラメータを用いることを特徴とする、
請求項9に記載のアイウェア選定システム。
【請求項11】
情報処理装置を用いて構成する、アイウェア試着システムであって、
データベースから手動又は自動で選択されたアイウェアの試着用データをユーザの顔データに合成してなる、試着画像を生成可能な、試着画像生成部と、
複数の前記試着画像を保存可能な、試着画像保存部と、
保存された複数の前記試着画像から少なくとも二つ以上の試着画像を画面上に一覧表示する、試着画像一覧表示部と、
を少なくとも含んでなることを特徴とする、
アイウェア試着システム。
【請求項12】
情報処理装置を用いて構成する、アイウェア分類システムであって、
入力層と出力層とを備え、前記入力層の入力データをアイウェアの撮影画像とし、前記出力層の出力データを当該アイウェアの玉型情報とする、ニューラルネットワークと、
前記入力データ及び前記出力データの実績値を教師データとして前記ニューラルネットワークを学習させる、機械学習部と、
前記機械学習部にて学習させたニューラルネットワークに、アイウェア画像を入力し、当該アイウェア画像に対する、玉型の種別毎の推定情報からなる玉型配分情報を求める、推定部と、
を少なくとも含んでなることを特徴とする、
アイウェア分類システム。
【請求項13】
情報処理装置を用いて構成する、アイウェア分類システムにおいて、
入力層と出力層とを備え、前記入力層の入力データをアイウェアの撮影画像とし、前記出力層の出力データを当該アイウェアの玉型情報およびフレーム色情報とする、ニューラルネットワークと、
前記入力データ及び前記出力データの実績値を教師データとして前記ニューラルネットワークを学習させる、機械学習部と、
前記機械学習部にて学習させたニューラルネットワークに、アイウェア画像を入力し、当該アイウェア画像に対する、玉型の種別毎の推定情報からなる玉型配分情報、およびフレーム色の種別毎の推定情報からなるカラー配分情報を求める、推定部と、
を少なくとも含んでなることを特徴とする、
アイウェア分類システム。
【請求項14】
前記入力層の入力データとして使用するアイウェアの撮影画像が、当該アイウェアの弦の一部又は全部を除去した画像であることを特徴とする、
請求項12または13に記載のアイウェア分類システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、メガネ、サングラス、ゴーグルなどのアイウェアの画像をユーザの顔データに合成した試着映像をユーザ端末上に表示することで、現実の試着によらずに、ユーザにとって好ましいアイウェアを選択・購入することが可能なシステムに関する。
【背景技術】
【0002】
アイウェアの仮想試着が可能な技術として、以下の特許文献および非特許文献が知られている。
特許文献1に係る文献には、顔部の画像を入力し、顔部データを解析し、顔部の画像をメガネの画像を重畳させた合成画像を生成して表示する眼鏡の選択支援システムが開示されている。
上記特許文献1の発展系と考えられる、非特許文献1に記載のWEBサービスでは、ECサイト上で任意の眼鏡を選択したあとに、当該眼鏡の画像と、ユーザの顔データとを合成した試着画像を表示しつつ、この試着画像をAI(人工知能)によって解析して、当該眼鏡の似合い度を数値化して判定する機能が提供されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2003-30494号公報
【非特許文献】
【0004】
【非特許文献1】https://brain.jins.com/ 「JINS BRAIN 2」
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、上記先行技術には、以下の観点のうち少なくとも何れか1つにおいて、未だ改善の余地が残されている。
(1)似合い度の算出処理の負荷の観点
非特許文献1の場合、合成後の試着画像の画像解析によって眼鏡の似合い度を数値化するため、眼鏡毎に試着画像の生成処理と似合い度の算出処理が必要となる。よって、予め、似合い度順に並べた複数の候補を提案する際には、取扱う眼鏡の全てについて試着画像の生成処理と似合い度の算出処理を行わなければならず、システムの負荷が大きくなりやすい。
(2)似合い度の算出手法の観点
非特許文献1で採用される似合い度の算出処理が、具体的に如何なる手法を用いているかが明らかでないところ、より精度の高い判定手法を設計することで、ユーザにとってより似合った眼鏡の提案を行いたい。
(3)合成用の眼鏡画像の分類精度の観点
試着画像の生成に用いる眼鏡画像の玉型(スクエア型、ウェリントン型、オーバル型、など)やフレーム色(黒系、紺系、グレー系、など)を予め認識しておき、当該情報を、似合う眼鏡の判定処理に活用したいところ、専門者である眼鏡店での販売支援員であっても、玉型やフレーム色の認識結果のズレが大きくなりやすいことから、全ての眼鏡に対し、玉型やフレーム色の情報を同一の基準で分類したデータベースの作成が難しい。
(4)ユーザによる眼鏡検討時の利便性の観点
ユーザが選択した眼鏡の試着画像のみが画面上に表示されるため、複数の候補の中からユーザがもっとも好ましい眼鏡を検討する際に、毎回、眼鏡の再選択(すなわち、試着画像の生成および再表示)が発生し、最終的に一つの眼鏡を選択するにあたっての利便性に乏しい。
【0006】
よって、本発明は、統一した基準で分類されたアイウェアのデータベースから、ユーザに似合うアイウェアをシステム側で抽出・提案することで、ユーザが好みのアイウェアの選択・購入をよりスムーズに実行可能な手段の提供を目的の一つとする。
【課題を解決するための手段】
【0007】
[1]アイウェア仮想試着システム
上記課題を解決すべくなされた本願の第1発明は、ユーザが操作する端末の画面上でアイウェアの仮想試着を可能とする、アイウェア仮想試着システムであって、
(A)アイウェア画像を読み込んで、アイウェアの分類結果を出力する、分類手段と、
(B)アイウェア毎に、少なくとも試着用データおよび前記分類結果を蓄積する、データベースと、
(C)ユーザの顔データに基づいて、前記データベースから少なくとも一つ以上のアイウェアを選定する、選定手段と、
(D)選定されたアイウェアの試着用データをユーザの顔データに合成してなる試着画像を生成・表示する、試着手段と、
を少なくとも具備し、
前記(A)分類手段が、
(A1)入力層と出力層とを備え、前記入力層の入力データをアイウェアの撮影画像とし、前記出力層の出力データを当該アイウェアの玉型情報およびフレーム色情報とする、ニューラルネットワークと、
(A2)前記入力データ及び前記出力データの実績値を教師データとして前記ニューラルネットワークを学習させる、機械学習部と、
(A3)前記機械学習部にて学習させたニューラルネットワークに、前記アイウェア画像を入力し、当該アイウェア画像に対する、玉型の種別毎の推定情報からなる玉型配分情報、およびフレーム色の種別毎の推定情報からなるカラー配分情報を求める、推定部と、を少なくとも含み、
前記(C)選定手段が、
(C1)ユーザの顔データから求めた特徴量に基づいて、玉型の種別毎の配点情報を含む、玉型診断情報と、フレーム色の種別毎の配点情報を含む、カラー診断情報を算出する、特徴診断部と、
(C2)前記データベースを参照して、前記玉型診断情報およびカラー診断情報に近似する前記玉型配分情報およびカラー配分情報を有するアイウェアを抽出する、商品絞込部と、
を少なくとも含み、
前記(D)試着手段が、
(D1)前記選定手段で選定されたアイウェアの中から、ユーザが選択したアイウェアの試着用データを前記顔データに合成してなる試着画像を生成する、試着画像生成部と、
(D2)前記試着画像を保存可能な、試着画像保存部と、
(D3)保存された複数の前記試着画像から少なくとも二つ以上の試着画像を画面上に一覧表示する、試着画像一覧表示部と、
を少なくとも含むことを特徴とするものである。
また、本願の第2発明は、前記(C1)特徴診断部において、玉型診断情報およびカラー診断情報の算出に、スタイリストの選定基準を模擬するように玉型毎およびカラー毎に予め設定される、個性パラメータを用いることを特徴とする。
また、本願の第3発明は、前記(C1)特徴診断部において、(C11)前記玉型診断情報が、
(C111)ユーザの顔データから算出した複数項目の特徴量のうち、任意の項目の特徴量と、前記個性パラメータの乗算でもって、玉型毎にスコア値を算出した、玉型用診断スコアを少なくとも1つ以上求める処理と、
(C112)各玉型用診断スコアから、何れか1つの玉型種別のスコア値を抜き出してなる組合せを生成し、当該組合せの中で、各スコア値の合算値が最大の組合せを、玉型診断情報とする処理と、
によって生成されることを特徴とするものである。
また、本願の第4発明は、前記(C1)特徴診断部において、(C12)前記カラー診断情報が、
(C121)ユーザの顔データから算出した複数項目の特徴量のうち、任意の項目の特徴量と、前記個性パラメータの乗算でもって、フレーム色毎にスコア値を算出した、カラー用診断スコアを少なくとも1つ以上求める処理と、
(C122)各カラー用診断スコアから、何れか1つのフレーム色種別のスコア値を抜き出してなる組合せを生成し、当該組合せの中で、各スコア値の合算値が最大の組合せを、カラー診断情報とする処理と、
によって生成されることを特徴とするものである。
また、本願の第5発明は、前記(A)分類手段において、前記入力層の入力データとして使用するアイウェアの撮影画像が、当該アイウェアの弦部分の一部又は全部を除去した画像であることを特徴とするものである。
また、本願の第6発明は、前記(D1)試着画像生成部において、前記顔データにおける虹彩サイズを基準として、前記顔データと前記試着用データとの寸法比を調整してから、前記顔データと試着用データを合成することを特徴とするものである。
【0008】
[2-1]アイウェア選定システム(玉型による選定)
さらに、本願の第7発明は、情報処理装置を用いて構成する、アイウェア選定システムであって、
(C1’)ユーザの顔データから求めた特徴量に基づいて、玉型の種別毎の配点情報を含む、玉型診断情報を算出する、特徴診断部と、
(C2’)アイウェア毎にデータベースに蓄積される、アイウェアの玉型の種別毎の配点情報を含む玉型配分情報を参照して、前記玉型診断情報に近似する前記玉型配分情報を有するアイウェアを抽出する、商品絞込部と、
を少なくとも含んでなることを特徴とするものである。
また、本願の第8発明は、前記(C1’)特徴診断部において、玉型診断情報の算出に、スタイリストの選定基準を模擬するように玉型毎に予め設定される、個性パラメータを用いることを特徴とするものである。
【0009】
[2-2]アイウェア選定システム(玉型およびフレーム色による選定)
さらに、本願の第9発明は、情報処理装置を用いて構成する、アイウェア選定システムであって、
(C1)ユーザの顔データから求めた特徴量に基づいて、玉型の種別毎の配点情報を含む、玉型診断情報と、フレーム色の種別毎の配点情報を含む、カラー診断情報を算出する、特徴診断部と、
(C2)アイウェア毎にデータベースに蓄積される、アイウェアの玉型の種別毎の配点情報を含む玉型配分情報および、アイウェアのフレーム色の種別毎の配点情報を含むカラー配分情報を参照して、前記玉型診断情報およびカラー診断情報に近似する前記玉型配分情報およびカラー配分情報を有するアイウェアを抽出する、商品絞込部と、
を少なくとも含んでなることを特徴とするものである。
また、本願の第10発明は、前記(C1)特徴診断部において、玉型診断情報およびカラー診断情報の算出に、スタイリストの選定基準を模擬するように玉型毎およびカラー毎に予め設定される、個性パラメータを用いることを特徴とするものである。
【0010】
[3]アイウェア試着システム
また、本願の第11発明は、情報処理装置を用いて構成する、アイウェア試着システムであって、
(D1’)データベースから手動又は自動で選択されたアイウェアの試着用データをユーザの顔データに合成してなる、試着画像を生成可能な、試着画像生成部と、
(D2)複数の前記試着画像を保存可能な、試着画像保存部と、
(D3)保存された複数の前記試着画像から少なくとも二つ以上の試着画像を画面上に一覧表示する、試着画像一覧表示部と、
を少なくとも含んでなることを特徴とするものである。
【0011】
[4]アイウェア分類システム
また、本願の第12発明は、情報処理装置を用いて構成する、アイウェア分類システムであって、
(A1’)入力層と出力層とを備え、前記入力層の入力データをアイウェアの撮影画像とし、前記出力層の出力データを当該アイウェアの玉型情報とする、ニューラルネットワークと、
(A2’)前記入力データ及び前記出力データの実績値を教師データとして前記ニューラルネットワークを学習させる、機械学習部と、
(A3’)前記機械学習部にて学習させたニューラルネットワークに、アイウェア画像を入力し、当該アイウェア画像に対する、玉型の種別毎の推定情報からなる玉型配分情報を求める、推定部と、
を少なくとも含んでなることを特徴とするものである。
さらに、本願の第13発明は、情報処理装置を用いて構成する、アイウェア分類システムであって、
(A1)入力層と出力層とを備え、前記入力層の入力データをアイウェアの撮影画像とし、前記出力層の出力データを当該アイウェアの玉型情報およびフレーム色情報とする、ニューラルネットワークと、
(A2)前記入力データ及び前記出力データの実績値を教師データとして前記ニューラルネットワークを学習させる、機械学習部と、
(A3)前記機械学習部にて学習させたニューラルネットワークに、アイウェア画像を入力し、当該アイウェア画像に対する、玉型の種別毎の推定情報からなる玉型配分情報、およびフレーム色の種別毎の推定情報からなるカラー配分情報を求める、推定部と、
を少なくとも含んでなることを特徴とするものである。
また、本願の第14発明は、前記入力層の入力データとして使用するアイウェアの撮影画像が、当該アイウェアの弦の一部又は全部を除去した画像であることを特徴とするものである。
【発明の効果】
【0012】
本発明によれば、以下に記載する効果のうち、少なくとも何れか1つの効果を奏する。
(1)ユーザの顔データから求めた特徴量に基づいて玉型の種別毎に配点した玉型診断情報および/またはフレーム色の種別毎に配点したカラー診断情報を求めつつ、各診断情報に近い玉型配分情報およびカラー配分情報を有するアイウェアをユーザに似合うアイウェアとして選定するため、似合い度の判定のために合成画像を生成する必要が無い。
(2)統一された基準で玉型および/またはフレーム色を分類したアイウェアのデータベースから、ユーザに似合うアイウェアを選定することで、ユーザ自身の主観的な基準ではなく、客観的に似合うアイウェアの提案が可能となる。
(3)一つのアイウェアや顔データに対し、複数の玉型(スクエア型、ウェリントン型、オーバル型、など)や複数のフレーム色(ブラック系、レッド系、グレー系など)の種別毎にスコア値が配点されていることから、単一形状および単一色で分類されるアイウェアのデータベースを用いた場合の選定と比較して、より似合うアイウェアの抽出精度が高い。
(4)ユーザがこれまでに仮想試着した購入候補のアイウェアの中から、最終的に購入したいアイウェアを選択する際に、これまでの複数の試着画像を画面上で一覧表示できるため、最終選択時の利便性に優れる。
【図面の簡単な説明】
【0013】
図1】本発明に係るアイウェア仮想試着システムの全体構成を示すイメージ図
図2】分類手段の構成を示す機能ブロック図。
図3】データベースでのデータセットの一例を示す図
図4】選定手段の構成を示す機能ブロック図。
図5】顔の特徴点を表したイメージ図。
図6】顔の長さ具合に係る特徴量を求める際の参考イメージ図。
図7】顔のふっくら具合に係る特徴量を求める際の参考イメージ図。
図8】眉の直線具合に係る特徴量を求める際の参考イメージ図。
図9】眉の上がり具合に係る特徴量を求める際の参考イメージ図。
図10】眉の密度具合に係る特徴量を求める際の参考イメージ図。
図11】目と眉の距離の大きさ具合に係る特徴量を求める際の参考イメージ図。
図12】玉型診断情報の確定処理のイメージ図。
図13】玉型診断情報の種別配分のイメージ図。
図14】商品絞込部での選定イメージ図。
図15】試着手段の構成を示す機能ブロック図。
図16】顔データの読み込みからアイウェア選定までの画面遷移イメージ図。
図17】選定したアイウェアを表示した試着画面のイメージ図。
図18】その他の絞込手法を表示した試着画面のイメージ図。
図19】一覧表示画面のイメージ図。
【発明を実施するための形態】
【0014】
以下、図面を参照しながら、本発明の実施例について説明する。
【実施例0015】
<1>全体構成(図1
図1に、本発明に係るアイウェア仮想試着システムの全体構成を示す。
アイウェア仮想試着システムAは、ユーザCが操作する端末(操作端末D)等と、ネットワークBを介して情報の送受信を可能としたものである。
操作端末Dは、ユーザが保有する端末でもよいし、店舗内に設置されている端末であってもよい。
アイウェア仮想試着システムAは、単一または複数の情報処理装置やサーバ等で構成することができ、当該情報処理装置に内蔵するCPU、RAM、およびHDDやSSDなどの記憶媒体等を用いて、少なくとも、分類手段10、データベース20、選定手段30および試着手段40として機能するよう構成する。
【0016】
<2>分類手段(図2
分類手段10は、アイウェアを撮影した画像(以下、「アイウェア画像」)を画像分析して、当該アイウェアの分類を行うための手段である。
本発明では、アイウェアの分類を行う種別として、当該アイウェアの玉型に関する情報と、フレーム色に関する情報のうち、少なくとも何れか一方が含まれるものとし、本実施例ではその両方を含んだものとしている。
分類手段10は、いわゆる人工知能(AI)を用いることができる。
図2に示すように、本発明では、分類手段10を、機能毎に、ニューラルネットワーク11、機械学習部12、および推定部13に区分けしている。
以下、各部の詳細について説明する。
【0017】
<2.1>ニューラルネットワーク(図2(a))
ニューラルネットワーク11とは、入力層と出力層とを備え、入力を線形変換する処理単位がネットワーク状に結合した状態とすることで、脳の神経回路の一部を模した数理モデルである。
本発明では、ニューラルネットワーク11の入力層および出力層を以下の通りに設定する。
【0018】
[表1]
【0019】
<2.2>機械学習部(図2(a))
機械学習部12は、入力データ及び出力データの実績値を教師データとして、前記ニューラルネットワーク11を学習させる機能を有する。
教師データの一例を以下の表2に示す。
【0020】
[表2]
【0021】
(1)教師データの作成方法
表2に係る教師データは、眼鏡販売店の接客担当や、専門スタイリスト等による、対象のアイウェアに対する玉型およびフレーム色の回答結果を利用することができる。
【0022】
<2.3>推定部(図2(a))
推定部13は、機械学習部12にて学習させたニューラルネットワーク11に、アイウェア画像を入力し、当該アイウェアの玉型配分情報およびカラー配分情報を求める機能を有する。
このアイウェア画像は、アイウェアを正面側から撮影した画像を用いることができる。
【0023】
(1)各配分情報のデータ構成
アイウェア毎に付与される、玉型配分情報およびカラー配分情報の構成例について説明する。
各配分情報は、玉型の種別毎、フレーム色毎の推定情報に相当し、より詳しくはアイウェアの玉型やフレーム色の種別毎に数値が配点される態様で構成される。
各種別の値は、後述する選定手段30での、各診断情報との近似値計算のために、以下の表3で示すように、割合表示としておくことが好ましい。
【0024】
[表3]
【0025】
なお、各配分情報における種別毎の数値は、値が大きいほどその種別の該当性が高いことを指している。
したがって、表3に示す例では、教師データの出力データとして、玉型がスクエアであると回答した数が最も多く、以降、ウェリントン、ボストンと続いたことを示しており、同様に、フレーム色は、ブラックと回答した数と、シルバーと回答した数が略同数であったことを示している。
【0026】
<2.4>前処理(図2(b))
教師データの入力データとなるアイウェアの撮影画像や、推定部13に読み込ませる分類前のアイウェア画像は、事前に前処理を行っておくことで、推定部13における推定処理の精度向上に寄与することが考えられる。
この前処理には、背景色の除去や、弦部分の除去処理などが挙げられる。
このうち、弦部分の除去処理について以下に説明する。
例えば、アイウェア画像がアイウェアを正面から撮影した場合には、図2(b)に示すように、弦の部分がフレームの上縁から延出したように見えている。そのため、画像解析でもってフレームの上縁を検出し、この上縁より上の画像をトリミングしておくと、弦の大部分を除去したアイウェア画像を生成することができる。
【0027】
<3>データベース(図1図3
データベース20は、分類手段10で得たアイウェアの分類結果を、アイウェアの試着用データとともに、蓄積する機能を少なくとも有する。
図3に示すように、データベース20では、アイウェア毎に、ID(識別情報)、商品名、分類結果、価格などを紐付けて蓄積しておくことができる。
【0028】
<3.1>試着用データ
試着用データは、試着手段40で、ユーザの顔データと合成することにより試着画像を生成するためのデータである。
試着用データは、分類手段10で用いたアイウェア画像や、アイウェアの正面側撮影画像および側面側撮影画像の組合せや、デプスカメラや3Dスキャン等によって生成した立体モデルなどを用いることができる。
【0029】
<3.2>その他の蓄積情報
さらに、データベース20で蓄積する情報には、前記アイウェア画像および試着用データとは別に、似合う候補として画面上にサムネイル表示する際のサムネイル用画像や、当該アイウェアの実寸情報を含めてもよい。
この実寸情報は、メーカーから提供されたもの、人力で採寸されたもの、アイウェア画像から自動的に算出したもの、の何れであってもよい。
このとき、アイウェア画像から実寸情報を算出する方法は特段限定せず、撮影するカメラの解像度と撮影距離から1ピクセルあたりのサイズを割り出して全体のサイズを求める方法などが考えられる。
【0030】
<4>選定手段(図4図15
選定手段30は、読み込んだユーザの顔データに基づいて、データベース20から少なくとも一つ以上のアイウェアを抽出する機能を有する。
選定手段30では、取り込んだ顔データを画像解析して特徴量を割り出し、当該特徴量を参考に、データベース20からユーザにとって似合うアイウェアを、少なくとも一つ以上抽出する機能を有する。
本発明では、選定手段30を、機能毎に、特徴診断部31と商品絞込部32に区分けしている。
以下、各部の詳細について説明する。
【0031】
<4.1>特徴診断部(図4
特徴診断部31は、ユーザの顔データを画像解析して特徴量を割り出し、当該特徴量に基づいて、玉型診断情報およびカラー診断情報を算出する機能を有する。
【0032】
<4.1.1>顔データ
ユーザの顔データは、操作端末Dとして使用するユーザの保有端末に保存されている画像データや、操作端末Dに備えたカメラによる撮影映像、デプスカメラや3Dスキャナ等を用いた立体データ等を用いることができる。
【0033】
<4.1.2>各診断情報
玉型診断情報は、ユーザの顔データの特徴量に基づいて、当該ユーザの似合う玉型について、玉型の種別毎に配点してある情報である。
また、カラー診断情報は、ユーザの顔データの特徴量に基づいて、当該ユーザの似合うフレーム色について、フレーム色の種別毎に配点してある情報である。
したがって、玉型診断情報およびカラー診断情報は、前述した玉型配分情報およびカラー配分情報と同一の構成としておくことが好ましい。
以下、特徴診断部31による各診断情報の特定手順の一例について説明する。
【0034】
<4.2>玉型診断情報の特定
(1)顔の特徴点の抽出(図5
種々の方法で読み込んだ顔データを、公知の画像解析プログラムを用いて、特徴点を抽出する。
本実施例では、顔データの特徴点を抽出する画像解析プラグラムとして、Google社が提供するMedia Pipeに含まれる、Face Meshを用いている。
【0035】
(2)項目毎の特徴量の算出
抽出した顔の特徴点の位置関係から、顔の特徴量を項目毎に算出する。
顔の特徴量を算出する項目としては、例えば以下の表4に示す項目などが考えられる。
各項目には、後述する診断スコアの算出の際に重み付けを行うための重要度を割り当てておいてもよい。
【0036】
[表4]
【0037】
なお、上記した表4では、重要度の数値が小さい項目ほど、似合うアイウェアの抽出にあたってより重要な要素であることを指している。
【0038】
(3)特徴量の計算例
以下、各項目で求める特徴量の計算例を示す。
なお、以下説明する、各項目において求める特徴量は、標準偏差をとって、値が0~100の間に収まるように設計することができる。
【0039】
(3.1)項目1(C1):顔の長さ具合(図6
顔の長さ具合(長い・短い)は、例えば以下の数式から求めることができる。
【0040】
[数1]
顔の長さ具合=顔の縦幅/顔の横幅
【0041】
(3.1.1)顔の横幅(図6(a))
顔の横幅E1は、図6(a)に示す通り、顔の特徴点のうち、外側の点をつなぐラインを顔の輪郭線として抽出し、この輪郭線のうち、顎中央と、顎先以外を除き、左右の特徴点を上から順に直線で繋いで、各線分の長さを取得し、このうち最も長い線分の長さを顔の横幅E1とする。
【0042】
(3.1.2)顔の横幅(図6(b))
顔の縦幅E2は、図6(b)に示す通り、顔の特徴点のうち、眉の点を抽出し、眉頭下段の左右中央と顎先を直線で繋いだ長さを取得し、この長さを顔の縦幅E2とする。
【0043】
(3.1.3)基準値の算出・特徴量の決定
上記数1で求めた顔の長さ具合の値を、標準偏差を用いて100点満点の基準で採点したものを基準値とした。したがって、この基準値が大きいほど顔が長めであることになる。
なお、特徴量を、平均的な顔立ちからの離隔(特徴の強さ)を表す値として用いる際には、以下の数2に示す処理を加えても良い。この場合、特徴量は常に51~100の間で遷移することになる。
【0044】
[数2]
(1)基準値が1~50未満の場合:特徴量=101-基準値
(2)基準値が51~100の場合:特徴量=基準値
【0045】
(3.2)項目2(C2):顔のふっくら具合(図7
顔のふっくら具合(ほっそり・ふっくら)は、例えば以下の数式から求めることができる。
【0046】
[数3]
顔パーツの面積率=顔パーツの下面積/顔の面積
【0047】
(3.2.1)顔の下面積(図7(a))
図7(a)に示す通り、顔の輪郭線と、顔の横幅E1で囲んだ範囲のうち、下方の領域の面積を、顔の下面積F1とする。
【0048】
(3.2.2)顔パーツの面積F2(図7(b))
図7(b)に示す通り、まず、顔の特徴点から、眉尻、目尻、口の下部の点を抽出し、これらの点を繋いだ範囲のうち、顔の横幅E1で囲んだ範囲の下方の領域の面積を、顔パーツの面積F2とする。
【0049】
(3.2.3)基準値の算出・特徴量の決定
この顔のふっくら具合の値を、標準偏差を用いて100点満点の基準で採点したものを基準値とする。したがって、この基準値が大きいほど顔がほっそりしていることになる。
なお、特徴量を、平均的な顔立ちからの離隔(特徴の強さ)を表す値として用いる際には、前記した(3.1.3)の数2と同様の処理を行っても良い。
【0050】
(3.3)項目3(C3):眉の直線具合(図8
眉の直線具合(曲線的・直線的)は、例えば以下の数式から求めることができる。
【0051】
[数4]
眉の直線具合=眉の角度(眉頭から眉山まで)の平均値
【0052】
(3.3.1)眉の角度(図8(a)(b))
図8(a)に示す通り、まず、顔の特徴点から、眉の点を抽出し、眉下段で連続した三点で作られる角度を眉の角度Gとする。
これを眉頭から眉山まで順次求める。
【0053】
(3.3.2)眉山の判定(図8(b))
図8(b)に示す通り、眉山の判定は、前記(3.3.1)で求めた眉の角度G1,G2のうち、最も鋭角を構成した箇所を眉山とする。
【0054】
(3.3.3)基準値の算出・特徴量の決定
この眉の角度G(G1,G2の平均値)の値を、標準偏差を用いて100点満点の基準で採点したものを基準値とする。したがって、この基準値が大きいほど眉が直線的であることになる。
なお、特徴量を、平均的な顔立ちからの離隔(特徴の強さ)を表す値として用いる際には、前記した(3.1.3)の数2と同様の処理を行っても良い。
【0055】
(3.4)項目4(C4):眉の上がり具合(図9
眉の上がり具合(下降・上昇)は、例えば以下の数式から求めることができる。
【0056】
[数5]
眉の上がり具合=眉頭と眉尻を結んだ線の傾き
【0057】
(3.4.1)眉尻の判定(図9(a))
図9(a)に示す通り、まず、顔の特徴点から眉の点を抽出し、眉上段の各点で、眉の高さ分の範囲から明度を計算し、この全ての明度の平均値よりも暗い明度を有する部分を眉尾から順に探し、眉尻H2とする。
【0058】
(3.4.2)眉頭と眉尻を結んだ線の取得(図9(b))
図9(b)に示す通り、眉頭H1の上下段を結ぶ線の中央と、眉尻H2の上下段を結ぶ線の中央を直線で結んだ線を、「眉頭H1と眉尻H2を結んだ線H3」とする。
【0059】
(3.4.3)基準値の算出・特徴量の決定
この「眉頭と眉尻を結んだ線H3」の値を、標準偏差を用いて100点満点の基準で採点したものを基準値とした。したがって、この基準値が大きいほど眉が上昇していることになる。
なお、特徴量を、平均的な顔立ちからの離隔(特徴の強さ)を表す値として用いる際には、前記した(3.1.3)の数2と同様の処理を行っても良い。
【0060】
(3.5)項目5(C5):眉の密度
眉の密度は、例えば以下の数式から求めることができる。
【0061】
[数6]
眉の密度=眉の面積率+眉のくっきり具合
【0062】
[数7]
眉の面積率=眉の面積/顔の全面積
【0063】
[数8]
眉のくっきり具合=肌の明度-眉の明度
【0064】
(3.5.1)顔の全面積(図10(a))
本項目では、顔の全面積I1は、図10(a)に示す通り、輪郭線で囲まれる全ての面積とする。
【0065】
(3.5.2)眉の面積・眉の明度(図10(b))
図10(b)に示す通り、顔の特徴点から、眉の点を抽出し、これらの点を結んだ線で囲んだ範囲から、眉と肌の平均明度よりも暗い箇所の面積を眉の面積I2とし、当該眉の面積I2内の明度平均を眉の明度とする。
【0066】
(3.5.3)肌の明度(図10(c))
図10(c)に示す通り、肌の明度測定の領域(肌明度測定領域I3)の横幅を、涙袋の左右外側とし、縦幅を涙袋の最下点から鼻頭までとした領域として、肌の明度を求める。
【0067】
(3.5.4)基準値の算出・特徴量の決定
この「眉の面積率」および「眉のくっきり具合」を、それぞれ標準偏差を用いて各50点満点の基準で採点し、合計で100点満点となるものを基準値とした。したがって、この基準値が大きいほど眉の密度が大きいことになる。
なお、特徴量を、平均的な顔立ちからの離隔(特徴の強さ)を表す値として用いる際には、前記した(3.1.3)の数2と同様の処理を行っても良い。
【0068】
(3.6)項目6(C6):目と眉の距離の大きさ(図11
目と眉の距離の大きさは、例えば以下の数式から求めることができる。
【0069】
[数9]
目と眉の距離の大きさ=目と眉の距離/目の縦幅
【0070】
[数10]
目の縦幅=目の上の高さ/目の下の高さ
【0071】
[数11]
目と眉の距離=眉の高さ-目の下の高さ
【0072】
(3.6.1)目の縦幅・目の上の高さ・目の下の高さ(図11
図11に示す通り、各特徴点から、目の輪郭線を抽出し、この輪郭線の上段で最も高い位置を目の上の高さとし、輪郭線の下段で最も低い位置を目の下の高さとし、これらの差を目の縦幅J1とする。
【0073】
(3.6.2)目と眉の距離(図11
図11に示す通り、顔の特徴点から、眉の点を抽出し、これらの点を結んだ線で囲んだ範囲のうち、眉頭H1下段の位置を眉の高さとし、前記した目の下の高さとの差を、目と眉の距離J2とする。
【0074】
(3.6.3)基準値の算出・特徴量の決定
この「目と眉の距離の大きさ」を、標準偏差を用いて100点満点の基準で採点したものを基準値とする。したがって、この基準値が大きいほど目と眉の距離が大きいことになる。
なお、特徴量を、平均的な顔立ちからの離隔(特徴の強さ)を表す値として用いる際には、前記した(3.1.3)の数2と同様の処理を行っても良い。
【0075】
(4)診断スコアの算出
上記した各項目で計算した特徴量に、スタイリストによる似合いやすさの判断基準を模擬したパラメータ(個性パラメータ311)を乗算して、玉型毎にスコア値を割り出した診断スコア(玉型用診断スコア)を算出する。
本発明において算出する診断スコアの数は限定せず、単一でも複数であってもよい。
(4.1)個性パラメータの例(図4
個性パラメータ311は、似合うアイウェアの選定基準に影響を与えるための変数である。
個性パラメータ311は、例えばアイウェアを提案するスタリスト毎に任意に設定することができ、例えば男性への提案を得意とするスタイリスト、若者への提案を得意とするスタイリスト、カジュアル指向の提案を得意とするスタイリストなど、性別、年齢、ファッション傾向など、各スタイリストの個性を模擬する形で設計することができる。
なお、各個性パラメータ311は、正値だけでなく負値を設定してもよい。
本実施例では、似合う玉型を選定する個性パラメータ311として、2つの変数を用意している(第1の変数、第2の変数)。
以下、各個性パラメータ311の詳細の一例について説明する。
【0076】
(4.1.1)第1の変数(玉型の提案傾向)
第1の変数は、スタイリストからみて、ユーザの顔の特徴に対する、玉型毎の似合いやすさの程度を相対化した数値である。
例えば、模擬対象のスタイリストが、顔データから得られる特定の特徴に対し、「オーバル形状」よりも「スクエア形状」のアイウェアを提案したい傾向が強い場合には、「スクエア」の項目にある第1の変数には、「オーバル」の項目にある第1の変数よりも大きな正値が設定されることになる。
【0077】
(4.1.2)第2の変数(項目別の重要度)
第2の変数は、スタイリストが、アイウェアの玉型の似合いやすさを判断するにあたり、各項目の中からどの項目を重要視するか否かを判断するための変数である。
例えば、模擬対象のスタイリストが、顔の形状(長さやふっくらさ)よりも「眉の形状(直線具合や上がり具合)」を重要視する場合には、前記した項目1,2でのスコア値の算出に用いる第2の変数よりも、項目3,4でのスコア値の算出に用いる第2の変数に、より大きな値が設定されることになる。
【0078】
(4.2)診断スコアの算出例
次に、各項目を用いた診断スコアの一例について、以下の表5~表7を参照しながら算出イメージを説明する。
なお、本発明の実施において、診断スコアの数は特段限定するものではなく、また、適宜設計変更が可能であることは言うまでも無い。
【0079】
(4.2.1)第1の診断スコア:項目1、2(顔の形状関連)
第1の診断スコアは、顔の形状を診断対象とするものであり、前記した項目1,2(顔の長さ、顔のふっくらさ)をベースに算出する。
本実施例では、項目1,2でそれぞれ求めた特徴量の平均値を特徴量とし、当該特徴量に、個性パラメータ311として予め設定されている、第1の変数および第2の変数を乗算した値をスコア値としている。このスコア値を玉形毎に求めた表を、表5に示す。
【0080】
[表5]
【0081】
(4.2.2)第2の診断スコア:項目3:眉形状1(曲線的・直線的)
第2の診断スコアは、眉の形状(曲線的か直線的か)を診断対象とするものであり、前記した項目3をベースに算出する。
本実施例では、項目3で求めた特徴量に、個性パラメータ311として新たに設定されている、第1の変数および第2の変数を乗算した値をスコア値としている。このスコア値を玉形毎に求めた表を、表6に示す。
【0082】
[表6]
【0083】
(4.2.3)第3の診断スコア:項目4:眉形状2(下降・上昇)
第3の診断スコアは、眉の形状(下降眉か上昇眉か)を診断対象とするものであり、前記した項目4をベースに算出する。
本実施例では、項目4で求めた特徴量に、個性パラメータ311として新たに設定されている、第1の変数および第2の変数を乗算した値をスコア値としている。このスコア値を玉形毎に求めた表を表7に示す。
【0084】
[表7]
(5)各玉型診断情報の確定(図12
次に、各項目で求めた診断スコアから、玉型診断情報を求める。
例えば、フレーム種別が5種、診断スコアがN種類ある場合には、各診断スコアから一つずつ玉型種別を取り出した組合せの数は、5のN乗(5N)となる。
よって、上記した表5~表7の通り、診断スコアが3種存在する場合、5の3乗(125)の組合せが存在することになる。
そして、この125種の組合せのうち、最も合算値の高い組合せは、表4のスクエア(スコア値:960)、表5のスクエア(スコア値:630)、表6のオーバル(スコア値:400)をそれぞれ抜き出した組合せ(合算値:1990)となる。
この組合せによる玉型毎のスコア値を加算してなる配点情報を、玉型診断情報として決定する。玉型診断情報の構成を以下の表8に示す。
【0085】
[表8]
【0086】
<4.3>カラー診断情報の特定
カラー診断情報についても、玉型診断情報の特定と同様、各項目から算出した特徴量と、フレーム色の判定のために用意した個性パラメータ311を用いた診断スコア(カラー用診断スコア)を算出し、この組合せ群からもっとも合算値の大きな組合せをカラー診断情報として選定する処理を行うことになる。
したがって、個性パラメータ311や、カラー用診断スコアの一例の表示および説明は省略する。
カラー診断情報の一例を以下の表9に示す。
【0087】
[表9]
【0088】
<4.4>商品絞込部
商品絞込部32は、特徴診断部31から得た、玉型診断情報およびカラー診断情報に基づいて、当該診断情報に近似する玉型配分情報およびカラー配分情報を有するアイウェアを、データベース20を参照して抽出する機能を有する。
商品絞込部32による処理手順の一例について以下説明する。
【0089】
(1)各診断情報に対する種別配分の算出(図13
はじめに、玉型診断情報、カラー診断情報それぞれについて、合算値に対する各種別のスコア値が占める割合を%表示で計算しておく。
前述した、表7に係る玉型診断情報の場合、合算値:1990に対し、スクエアの値:960+630=1590と、バレルの値:400を割合表示(%表示)した種別成分は、スクエア:約80%、バレル約20%となる。(図13(a))
また、表8に係るカラー診断情報の場合、合算値:1200に対し、ブラックの値:500と、グレーの値:500と、シルバーの値:200を、割合表示した種別成分は、ブラック:約42%、グレー:約42%、シルバー:約16%となる。(図13(b))
なお、種別成分に負値が存在する場合には、当該種別成分は0と扱って割合計算を行えばよい。
【0090】
(2)診断情報と近似値の算出(図14
データベース20に蓄積されたアイウェアの一部または全部に対し、各アイウェアに紐付けられている玉型配分情報と、玉型診断情報との近似値(玉型側近似値)を計算する。
この近似値の計算には、コサイン類似度などを用いることができる。コサイン類似度は0~1.0の範囲で定まり、数値の大きいものほど種別成分に近似する割合を有するアイウェアであることになる。
同じように、データベース20に蓄積されたアイウェアの全てに対し、各アイウェアに紐付けられているカラー配分情報と、カラー診断情報との近似値(カラー側近似値)を計算する。
よって、玉型側近似値とカラー側近似値の合算値(合算近似値)は、0.0~2.0の範囲に収まることとなる。
この合算近似値が高いアイウェアほど、ユーザに似合うアイウェアであると判断することができる。
【0091】
(3)最終絞り込み
データベース20に蓄積されたアイウェアの全てについて合算近似値が算出された後は、これらを数値の高い順に並べ替えることで、ユーザに似合う順にアイウェアがソートされることになる。
なお、ソート対象は、あらかじめユーザの選択(形状、色、価格帯などの諸条件)によって母集団を絞ったものであってもよい。
なお、抽出結果は、最も近似値の合算値が高いアイウェア一つを抽出するものとしてもよい。
【0092】
<5>試着手段(図15
試着手段40は、選定手段30で抽出されたアイウェアのアイウェア画像を、ユーザの顔データに合成してなる試着画像を生成・表示する機能を有する。
図15に示すように、本発明では、試着手段40を、機能毎に、試着画像生成部41、試着画像保存部42、試着画像一覧表示部43と区分けしている。
以下、各部の詳細について説明する。
【0093】
<5.1>試着画像生成部(図15
試着画像生成部41は、アイウェア画像と顔データとを合成してなる試着画像を生成し、画面表示する機能を有する。
【0094】
(1)合成方法
顔データにアイウェア画像を合成する方法は特段限定せず、公知の手法を用いることができるが、特に、以下の以下の画像処理を行うこともできる。
【0095】
(1.1)顔データのサイズ調整処理
例えば、以下の処理でもって、顔データに対するアイウェア画像のサイズを調整することが考えられる。
[調整処理例1]
ユーザ以外の基準物体(クレジットカード、硬貨など)を含めて撮影した画像からに顔データのサイズを割り出し、アイウェアの寸法情報を参考に、当該サイズに合うようにアイウェア画像をサイズ調整(拡大・縮小)する方法。
[調整処理例2]
ユーザの生体情報である虹彩のサイズが、体格によらずに概ね所定の大きさであることに着目して、顔データのサイズを割り出し、アイウェアの寸法情報を参考に、当該サイズに合うようにアイウェア画像をサイズ調整(拡大・縮小)する方法。
【0096】
(1.2)顔データやアイウェア画像の立体化処理
顔データの撮影装置が、二眼式のデプスカメラやLiDARスキャナを具備することで深度情報や立体形状を把握可能である場合には、当該情報を用いて顔データに立体化処理を施したものを合成対象の顔データとすることができる。
また、アイウェアを正面側と側面側からそれぞれ撮影した画像に基づいて生成したアイウェアの立体モデルを合成対象のアイウェア画像とすることもできる。
【0097】
(2)各画像の試着画像の表示方法
合成前の顔データおよびアイウェア画像、試着画像を画面上にどのように表示するかについては特段限定せず、公知の表示態様を用いることができるが、特に、複数のアイウェア画像を一覧表示した状態で、任意のアイウェア画像をユーザが選択することによって、画面上に表示している顔データに、選択したアイウェアが合成されて、試着画像に置き換わる形で表示される態様が望ましい。
【0098】
<5.2>試着画像保存部(図15
試着画像保存部42は、試着画像生成部41で生成・表示した試着画像を保存する機能を有する。
当該機能を有することで、異なるアイウェアを試着していく過程で、購入候補に挙げられるアイウェアを保存しておくことで、後述する試着画像一覧表示部43による、試着画像の一覧表示の対象とすることができる。
【0099】
なお、本発明において保存される試着画像は、ユーザによる手動選択に限らず、例えば合算近似値の高い順から複数個のアイウェアを顔データに自動的に合成して得られた試着画像であってもよい。
【0100】
<5.3>試着画像一覧表示部(図15
試着画像一覧表示部43は、試着画像保存部42で保存された複数の前記試着画像から少なくとも二つ以上の試着画像を画面上に一覧表示する機能を有する。
当該機能を有することで、ユーザが購入候補に挙げたアイウェアの試着画像や、システム側から提案されたアイウェアの試着画像の試着画像を対比検討することができ、ユーザの気に入ったアイウェアを選択する作業の利便性が向上する。
【0101】
<6>使用イメージ(画面遷移)(図16図19
次に、本発明に係るアイウェア仮想試着システムAの使用時における、ユーザの操作端末Dでの画面遷移のイメージについて図16図19を参照しながら説明する。
なお、前述した分類手段10によって、多数のアイウェアのアイウェア画像および分類結果が既にデータベース20に蓄積されている状態を想定している。
【0102】
(1)顔データの読み込み(図16
本システムの利用開始時には、まずユーザの顔データの取り込みを行う。
図16(a)に示す顔データ取込画面K1は、操作端末Dに備えたカメラでもって顔データの撮影を行う画面であり、撮影画像中の顔の大きさや位置を調整するためのガイド線が表示されており、当該ガイド線を基準にユーザが自身の顔データの撮影を行う。
顔データの撮影後は、前述した選定手段30による、アイウェアの選定作業が実行され、選定結果が出力されるまでの期間、顔データのスキャン中であることのメッセージを表示する、選定中画面K2に遷移する(図16(b))。
【0103】
(2)候補の表示・試着・保存(図17
選定手段30による選定作業が完了すると、前述した試着手段40でもって、画面右欄に、「AIお勧めランキング」などの文章とともに、各診断情報に近似する各配分情報を有するアイウェアのアイウェア画像が、近似順に表示される、試着画面L2が表示される。
ユーザが、画面右欄に表示されるアイウェア画像L1を選択すると、画面左欄に表示される顔データL2に、当該アイウェア画像L1が合成された試着画像L3が表示される。
その他、画面左欄には、商品絞込部32でアイウェア毎に算出された近似値を「似合い度」として表示することもできる。
ユーザは、試着画像L3を確認して、アイウェアを気に入った場合には、画面上の保存ボタンL4を選択することにより、前述した試着画像保存部42によって、当該試着画像L3が保存される。
ユーザは、このアイウェアの仮想試着と保存を適宜繰り返して、購入対象の絞り込みを行っていく。
【0104】
(3)ユーザ自身によるアイウェアの検索(図18
図18は、試着画面Lにおいて、選定手段30によって選定されたアイウェアのアイウェア画像を表示する形ではなく、従来行われている、性別、玉型、フレームカラーなどの情報から、ユーザ自身がアイウェアの絞り込みを行って適宜仮想試着を行う際の画面イメージを示している。
ユーザ自身で絞り込みを行って生成した試着画像も、画面上の保存ボタンを選択することによって、試着画像を保存することができる。
【0105】
(4)試着画像の一覧表示(図19
仮想試着を繰り返していくうちに、ユーザは、どのアイウェアが最も好ましいものであったかの記憶が曖昧となり、何度も試着画像の確認を繰り返すことになる。
そこで、本発明では、前述した試着画像一覧表示部43でもって、プルダウンメニューなどから一覧表示のボタンを選択することにより、図19に示す一覧表示画面Mを表示するよう構成する。
一覧表示画面Mの画面右欄には、これまでに保存した複数の試着画像L3がサムネイル形式で一覧表示されており、このサムネイルを選択することで、画面右欄に該当の試着画像L3を表示するよう構成している。
また、各サムネイルには、保存対象から除外するためのボタンや、選定手段30によって選ばれたアイウェアであるか否かを示す印(「AI」の文字)等が併せて表示されている。
ユーザはこの一覧を確認し、適宜試着画像L3の再確認や、候補からの除外を行って、最も気に入ったアイウェアを選び、購入画面へと進むことができる。
【実施例0106】
実施例1で説明した、分類手段10、選定手段30および試着手段40は、それぞれ独立したシステム(アイウェア分類システム、アイウェア選定システム、アイウェア試着システム)として使用することができる。
したがって、既存のアイウェア試着システムで使用するデータベースの構築のために前記アイウェア分類システムのみを使用する場合や、機械学習を用いることなく蓄積されたデータベースに対し、前記アイウェア選定システムのみを使用する場合や、既存のアイウェア試着システムにおいて、ユーザが最終的に好みのアイウェアを選択する際の支援として、前記アイウェア試着システムのみを用いる場合などは、何れも本発明の範囲に含まれることは言うまでも無い。
【符号の説明】
【0107】
A :アイウェア仮想試着システム
B :ネットワーク
C :ユーザ
D :操作端末
10 :分類手段
11 :ニューラルネットワーク
12 :機械学習部
13 :推定部
20 :データベース
30 :選定手段
31 :特徴診断部
311:個性パラメータ
32 :商品絞込部
40 :試着手段
41 :試着画像生成部
42 :試着画像保存部
43 :試着画像一覧表示部
E1 :顔の横幅
E2 :顔の縦幅
F1 :顔の下面積
F2 :顔パーツの面積
G :眉の角度
H1 :眉頭
H2 :眉尻
H3 :眉頭と眉尻を結んだ線
I1 :顔の全面積
I2 :眉領域
I3 :肌明度測定領域
J1 :目の縦幅
J2 :目と眉の距離
K1 :顔データ取込画面
K2 :選定中画面
L :試着画面
L1 :アイウェア画像
L2 :顔データ
L3 :試着画像
L4 :保存ボタン
M :一覧表示画面
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
【手続補正書】
【提出日】2022-05-10
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ユーザが操作する端末の画面上でアイウェアの仮想試着を可能とする、アイウェア仮想試着システムであって、
アイウェア画像を読み込んで、アイウェアの分類結果を出力する、分類手段と、
アイウェア毎に、少なくとも試着用データおよび前記分類結果を蓄積する、データベースと、
ユーザの顔データに基づいて、前記データベースから少なくとも一つ以上のアイウェアを選定する、選定手段と、
選定されたアイウェアの試着用データをユーザの顔データに合成してなる試着画像を生成・表示する、試着手段と、
を少なくとも具備し、
前記分類手段が、
入力層と出力層とを備え、前記入力層の入力データをアイウェアの撮影画像とし、前記出力層の出力データを当該アイウェアの玉型情報およびフレーム色情報とする、ニューラルネットワークと、
前記入力データ及び前記出力データの実績値を教師データとして前記ニューラルネットワークを学習させる、機械学習部と、
前記機械学習部にて学習させたニューラルネットワークに、前記アイウェア画像を入力し、当該アイウェア画像に対する、玉型の種別毎の推定情報からなる玉型配分情報、およびフレーム色の種別毎の推定情報からなるカラー配分情報を求める、推定部と、
を少なくとも含み、
前記選定手段が、
ユーザの顔データから求めた特徴量に基づいて、玉型の種別毎の配点情報を含む、玉型診断情報と、フレーム色の種別毎の配点情報を含む、カラー診断情報を算出する、特徴診断部と、
前記データベースを参照して、前記玉型診断情報およびカラー診断情報に近似する前記玉型配分情報およびカラー配分情報を有するアイウェアを抽出する、商品絞込部と、
を少なくとも含み、
前記試着手段が、
前記選定手段で選定されたアイウェアの中から、ユーザが選択したアイウェアの試着用データを前記顔データに合成してなる試着画像を生成する、試着画像生成部と、
前記試着画像を保存可能な、試着画像保存部と、
保存された複数の前記試着画像から少なくとも二つ以上の試着画像を画面上に一覧表示する、試着画像一覧表示部と、
を少なくとも含む、
ことを特徴とする、アイウェア仮想試着システム。
【請求項2】
前記特徴診断部において、
玉型診断情報およびカラー診断情報の算出に、スタイリストの選定基準を模擬するように玉型毎およびカラー毎に予め設定される、個性パラメータを用いることを特徴とする、
請求項1に記載のアイウェア仮想試着システム。
【請求項3】
前記特徴診断部において、
前記玉型診断情報が、
ユーザの顔データから算出した複数項目の特徴量のうち、任意の項目の特徴量と、前記個性パラメータの乗算でもって、玉型毎にスコア値を算出した、玉型用診断スコアを少なくとも1つ以上求める処理と、
各玉型用診断スコアから、何れか1つの玉型種別のスコア値を抜き出してなる組合せを生成し、当該組合せの中で、各スコア値の合算値が最大の組合せを、玉型診断情報とする処理と、
によって生成されることを特徴とする、
請求項に記載のアイウェア仮想試着システム。
【請求項4】
前記特徴診断部において、
前記カラー診断情報が、
ユーザの顔データから算出した複数項目の特徴量のうち、任意の項目の特徴量と、前記個性パラメータの乗算でもって、フレーム色毎にスコア値を算出した、カラー用診断スコアを少なくとも1つ以上求める処理と、
各カラー用診断スコアから、何れか1つのフレーム色種別のスコア値を抜き出してなる組合せを生成し、当該組合せの中で、各スコア値の合算値が最大の組合せを、カラー診断情報とする処理と、
によって生成されることを特徴とする、
請求項2または3に記載のアイウェア仮想試着システム。
【請求項5】
前記分類手段において、
前記入力層の入力データとして使用するアイウェアの撮影画像が、当該アイウェアの弦部分の一部又は全部を除去した画像であることを特徴とする、
請求項1乃至4のうち何れか1項に記載のアイウェア仮想試着システム。
【請求項6】
前記試着画像生成部において、
前記顔データにおける虹彩サイズを基準として、前記顔データと前記試着用データとの寸法比を調整してから、前記顔データと試着用データを合成することを特徴とする、
請求項1乃至5のうち何れか1項に記載のアイウェア仮想試着システム。
【請求項7】
情報処理装置を用いて構成する、アイウェア選定システムであって、
アイウェア毎に玉型配分情報を蓄積してなる、データベースと、
ユーザの顔データから玉型診断情報を算出する、特徴診断部と、
前記データベースを参照して、前記玉型診断情報に近似する前記玉型配分情報を有するアイウェアを少なくとも1つ以上抽出する、商品絞込部と、
を少なくとも含み、
前記玉型配分情報は、複数の玉型種別を有し、前記アイウェアにおける前記玉型種別の該当性を、前記玉型種別毎に配点した情報であり、
前記玉型診断情報は、前記玉型配分情報と同一構成の玉型種別を有し、前記顔データから求めた特徴量に基づいて、前記玉型種別毎に配点した情報であることを特徴とする、
アイウェア選定システム。
【請求項8】
前記特徴診断部
タイリストの選定基準を模擬するように玉型毎に個性パラメータが予め設定されており、
ユーザの顔データから算出した複数項目の特徴量のうち任意の項目の特徴量と、前記個性パラメータと、との乗算でもって、玉型毎にスコア値を算出した、玉型用診断スコアを複数求める処理と、
各玉型用診断スコアから、何れか1つの玉型種別のスコア値を抜き出してなる組合せを生成し、当該組合せの中で各スコア値の合算値が最大の組合せを、玉型診断情報とする処理と、を行うことを特徴とする、
請求項7に記載のアイウェア選定システム。
【請求項9】
情報処理装置を用いて構成する、アイウェア選定システムであって、
アイウェア毎に玉型配分情報およびカラー配分情報を蓄積してなる、データベースと、
ユーザの顔データから玉型診断情報およびカラー診断情報を算出する、特徴診断部と、
前記データベースを参照して、前記玉型診断情報およびカラー診断情報に近似する前記玉型配分情報およびカラー配分情報を有するアイウェアを少なくとも1つ以上抽出する、商品絞込部と、
を少なくとも含み、
前記玉型配分情報は、複数の玉型種別を有し、前記アイウェアにおける前記玉型種別の該当性を、前記玉型種別毎に配点した情報であり、
前記玉型診断情報は、前記玉型配分情報と同一構成の玉型種別を有し、前記顔データから求めた特徴量に基づいて、前記玉型種別毎に配点した情報であり、
前記カラー配分情報は、複数のフレーム色種別を有し、前記アイウェアにおける前記フレーム色種別の該当性を、前記フレーム色種別毎に配点した情報であり、
前記カラー診断情報は、前記カラー配分情報と同一構成のフレーム色種別を有し、前記顔データから求めた特徴量に基づいて、前記フレーム色種別毎に配点した情報であることを特徴とする、
アイウェア選定システム。
【請求項10】
前記特徴診断部
タイリストの選定基準を模擬するように玉型毎およびカラー毎に個性パラメータが予め設定されており、
ユーザの顔データから算出した複数項目の特徴量のうち任意の項目の特徴量と、前記個性パラメータと、との乗算でもって、玉型毎にスコア値を算出した玉型用診断スコアと、フレーム色毎にスコア値を算出したカラー用診断スコアと、をそれぞれ複数求める処理と、
各玉型用診断スコアから、何れか1つの玉型種別のスコア値を抜き出してなる組合せを生成し、当該組合せの中で各スコア値の合算値が最大の組合せを、玉型診断情報とする処理と、
各カラー用診断スコアから、何れか1つのフレーム色種別のスコア値を抜き出してなる組合せを生成し、当該組合せの中で各スコア値の合算値が最大の組合せを、カラー診断情報とする処理と、を行うことを特徴とする、
請求項9に記載のアイウェア選定システム。
【請求項11】
情報処理装置を用いて構成する、アイウェア試着システムであって、
データベースから手動又は自動で選択されたアイウェアの試着用データをユーザの顔データに合成してなる、試着画像を生成し、当該試着画像と保存ボタンとを画面表示する機能を有する、試着画像生成部と、
ユーザによる前記保存ボタンの選択によって、画面表示した前記試着画像を保存する機能を有する、試着画像保存部と、
前記試着画像保存部で保存された複数の前記試着画像から少なくとも二つ以上の試着画像のサムネイルを画面上に一覧表示しつつ、前記一覧表示されたサムネイルの中からユーザが選択したサムネイルに係る試着画像と、当該試着画像に係るアイウェアを購入可能な画面へと遷移するリンクボタンを表示してなる、一覧表示画面を生成する、試着画像一覧表示部と、
を少なくとも含んでなることを特徴とする、
アイウェア試着システム。
【請求項12】
情報処理装置を用いて構成する、アイウェア分類システムであって、
入力層と出力層とを備え、前記入力層の入力データをアイウェアの撮影画像とし、前記出力層の出力データを当該アイウェアの玉型情報とする、ニューラルネットワークと、
前記入力データ及び前記出力データの実績値を教師データとして前記ニューラルネットワークを学習させる、機械学習部と、
前記機械学習部にて学習させたニューラルネットワークに、アイウェア画像を入力し、当該アイウェア画像に対する、玉型の種別毎の推定情報からなる玉型配分情報を求める、推定部と、
を少なくとも含んでなることを特徴とする、
アイウェア分類システム。
【請求項13】
情報処理装置を用いて構成する、アイウェア分類システムにおいて、
入力層と出力層とを備え、前記入力層の入力データをアイウェアの撮影画像とし、前記出力層の出力データを当該アイウェアの玉型情報およびフレーム色情報とする、ニューラルネットワークと、
前記入力データ及び前記出力データの実績値を教師データとして前記ニューラルネットワークを学習させる、機械学習部と、
前記機械学習部にて学習させたニューラルネットワークに、アイウェア画像を入力し、当該アイウェア画像に対する、玉型の種別毎の推定情報からなる玉型配分情報、およびフレーム色の種別毎の推定情報からなるカラー配分情報を求める、推定部と、
を少なくとも含んでなることを特徴とする、
アイウェア分類システム。
【請求項14】
前記入力層の入力データとして使用するアイウェアの撮影画像が、当該アイウェアの弦の一部又は全部を除去した画像であることを特徴とする、
請求項12または13に記載のアイウェア分類システム。