IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ザ プロクター アンド ギャンブル カンパニーの特許一覧

特開2023-40229美容的皮膚特性を視覚化するための装置及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023040229
(43)【公開日】2023-03-22
(54)【発明の名称】美容的皮膚特性を視覚化するための装置及び方法
(51)【国際特許分類】
   A61B 5/00 20060101AFI20230314BHJP
   G06F 3/04817 20220101ALI20230314BHJP
   G06F 3/0482 20130101ALI20230314BHJP
   G06Q 30/015 20230101ALI20230314BHJP
   G06Q 50/10 20120101ALI20230314BHJP
【FI】
A61B5/00 M
G06F3/04817
G06F3/0482
G06Q30/015
G06Q50/10
【審査請求】未請求
【請求項の数】2
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023003110
(22)【出願日】2023-01-12
(62)【分割の表示】P 2021561969の分割
【原出願日】2020-04-23
(31)【優先権主張番号】62/837,208
(32)【優先日】2019-04-23
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.ANDROID
2.iOS
(71)【出願人】
【識別番号】590005058
【氏名又は名称】ザ プロクター アンド ギャンブル カンパニー
【氏名又は名称原語表記】THE PROCTER & GAMBLE COMPANY
【住所又は居所原語表記】One Procter & Gamble Plaza, Cincinnati, OH 45202,United States of America
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】ディサーナーヤカ ムディヤンセラゲ マハトマ バンダラ ディサーナーヤカ
(72)【発明者】
【氏名】宮本 直喜
(72)【発明者】
【氏名】リンダ シュシャン リム
(57)【要約】      (修正有)
【課題】消費者が自分の美容的皮膚特性を理解することを可能にする。
【解決手段】a)顔部の一部の第1のデジタル画像を取得し、入力画像の1つの領域が選択される工程202と、b)取得された第1のデジタル画像にわたって複数のタイルを定義する工程204と、c)美容的皮膚特性について、定義された複数のタイルのそれぞれについて第1のデジタル画像を解析する工程206と、d)タイルの分析された美容的皮膚特性に基づいて、定義された複数のタイルのそれぞれのタイルに対して一意的に単一度の印を割り当てる工程208と、e)それぞれが一意的に割り当てられた単一度の印を有する複数のタイルの幾つかを表示して、美容的皮膚特性を視覚化させる工程210と、を含む。表示された複数のタイルの幾つかは、タイルの分析された美容的皮膚特性に基づいて、非表示のタイルの美容的皮膚特性状態と比較してより良好である美容的皮膚特性を表示する。
【選択図】図5
【特許請求の範囲】
【請求項1】
少なくとも1つの美容的皮膚特性を処置するための製品推奨を提供するためのグラフィカル・ユーザー・インターフェースであって、前記グラフィカル・ユーザー・インターフェースは、入力装置及び画像取得機器を有するタッチスクリーンディスプレイ/ディスプレイを含む携帯電子装置上にあり、前記グラフィカル・ユーザー・インターフェースは、 前記画像取得機器から取得された前記被験者の顔部の少なくとも一部の第1のデジタル画像と、前記第1のデジタル画像上に挿入された第2のデジタル画像と、を表示するタッチスクリーンディスプレイの第1の領域であって、前記第2のデジタル画像は、前記被験者の顔部の前記少なくとも一部を有し、複数のタイルは、それぞれが一意的に割り当てられた単一度の印を有する、第1の領域と、
前記第1の領域とは異なる前記タッチスクリーンディスプレイの第2の領域であって、ユーザ入力を受信するための選択可能なアイコンを表示する、第2の領域と、を含み、前記表示された美容的皮膚特性を処置するための少なくとも1つの製品推奨項目の画像が、前記ユーザが前記選択可能なアイコンをアクティブ化した場合に前記タッチスクリーンディスプレイ上に表示される、グラフィカル・ユーザー・インターフェース。
【請求項2】
前記少なくとも1つの美容的皮膚特性が、視覚的に知覚不可能な美容的皮膚特性であり、前記視覚的に知覚不可能な美容的皮膚特性は、肉眼で検出可能ではない美容的皮膚特性である、又は消費者によって視覚的に検出可能な美容的皮膚特性であるが、前記消費者が前記美容的皮膚特性を理解しない、請求項に記載のグラフィカル・ユーザー・インターフェース。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、美容的皮膚特性を視覚化するためのシステム及び方法に関する。
【背景技術】
【0002】
消費者は、化粧品及びスキンケア処置を使用することによって、彼らの物理的外観を改善することを求めている。結果として、消費者が選択するために利用可能な製品の非常に広範な選択がある。多くの場合、個々の消費者は、個々の個人の皮膚の種類及び皮膚特性、並びに潜在的に異なる又は変化する皮膚特性を考慮した場合に、どの製品を適用してどのように最良の結果を達成するかを決定することが困難であることを見出している。個人の皮膚が経時的に変化する、及び/又は経時的に美容傾向が変化するために、この問題の度合が増す。小売化粧品カウンタにおける美容相談員は、多くの場合、処置を必要とするクライアントの皮膚特性を特定することを担う。皮膚特性(単数又は複数)が特定されると、相談員は説明のために、クライアントに皮膚特性(単数又は複数)の種類、量、及び場所を伝達する。最後に、特定された皮膚特性の外観を改善し、消費者に対する改善を実証することを目的とした、スキンケア製品及び塗布技術を推奨する。本アプローチの多くは、相談員の主観的判断及び/又は視力に依存する。
【0003】
デジタル知識豊富な消費者の人口成長人口、特により若い人口統計学の人口では、データ処理機器を利用して互いに相互作用して、従来の美容相談員との相談を求める代わりに、皮膚及び美容ケア製品のオンライン購入決定を行う傾向がある。これらの消費者のうちの幾人かは、デジタルツールで達成することができ、このような、デジタルソースからの推奨が本消費者セグメントに対してより高い信頼性を有するという客観的事実のレベルが高い、と信じている。コンピュータモデリング/アルゴリズムを使用して自分自身のデジタル画像(例えば、「セルフィ(selfie)」)を解析することによって、このような消費者が個人の皮膚分析を行うことを可能にするために、多くの試みがなされてきた。次に、コンピュータモデルによって提供された結果を使用して、場所及び視覚的に知覚可能な皮膚特性の種類(例えば、目に見える斑、目に見える線、及びシワ)並びに後続の製品推奨/取り扱い説明を消費者に提供することができる。
【0004】
これらの視覚的に知覚可能な皮膚特性を消費者に示す/マーキングする1つの方法は、その顔部及び皮膚特性(単数又は複数)を可視化するために「ヒートマップ」を介している。しかしながら、典型的には消費者が理解するための多くの情報が存在する。これは、消費者が視覚的に知覚可能な特性を基準点又はスキンケア処置の標的として使用することができるため、視覚的に知覚可能な皮膚特性との問題として課題となるものではない場合がある。しかしながら、皮膚特性が視覚的に知覚不可能である場合には、問題はかなり悪化する。これは、視覚的に知覚可能な特性を有さない、又は最小限の量の視覚的に知覚可能な特性を有し得る、消費者のより若い人口統計に特に当てはまる。したがって、特に、1つを超えるこのような視覚的に知覚不可能な特性が存在する場合には、典型的には多くの知覚可能な皮膚特性を欠いているより若い消費者の人口統計においてはなおさら、視覚的に知覚不可能な特性及び顔部上の場所を迅速かつ容易に特定する必要がある。
【0005】
幾つかの視覚的に知覚不可能な皮膚特性が、視覚的に知覚可能なものになることを示唆する、まとまった数の研究の増加が存在する。本目的のために、消費者が、これらの視覚的に知覚不可能な皮膚特性を人生の早期に特定し、これらの特性に対する予防的な皮膚処置を行う場合、後の形成から、視覚的に知覚可能な望ましくない皮膚特性の発生を遅延させる及び/若しくは軽減する、並びに/又は発症を遅延させる可能性が増大する。
【0006】
上記の皮膚特性に関する情報を提供するよう、デジタル年齢における消費者のニーズを満たすために種々の皮膚評価デジタルツールが開発されてきたが、消費者は全て、大量の情報による過負荷にさらされてきており、特に美容的皮膚特性状態、例えば、「既存の皮膚状態、及びそれを改善するために何ができるのか」ということの関係において、多くの消費者にとって困難な情報を短時間で理解するプロセスが生じる。しかしながら、消費者は、携帯電話などの携帯機器上の評価情報を見る傾向がある、又は評価情報を理解するための時間が限られている傾向がある。結果として、膨大な量の情報が表示されて「情報過負荷」をもたらす場合、消費者はすぐさま圧倒され得る。情報過負荷は、情報過多により、消費者が情報をもはや理解しないか、又は自分の皮膚の状態を改善するために何を行う必要があるのかをもはや評価できる立場にない、という状況をもたらし得る。このような状況では、消費者は、消費者にとって情報過負荷を発生させるデジタルツールの使用を停止する場合がある。
【発明の概要】
【発明が解決しようとする課題】
【0007】
したがって、1つ以上の皮膚特性を特定する方法を消費者に提供し、消費者が自分の美容的皮膚特性を理解することを可能にするために、単純な方法で消費者の顔部上におけるこれらの特性の場所を表示し、かつ美容的皮膚特性の状態を改善するための目標及び有効な処置を得ることを可能にする、方法及びシステムが必要とされている。
【課題を解決するための手段】
【0008】
本発明は、被験者の少なくとも1つの美容的皮膚特性を可視化する方法に関し、本方法は、
a)被験者の顔部の少なくとも一部の第1のデジタル画像を取得する工程であって、第1のデジタル画像は、顔部の入力画像の少なくとも1つの領域から選択される工程と、
b)取得された第1のデジタル画像にわたって複数のタイルを定義する工程と、
c)少なくとも1つの美容的皮膚特性について、定義された複数のタイルのそれぞれについて第1のデジタル画像を解析する工程と、
d)タイルの分析された少なくとも1つの美容的皮膚特性に基づいて、定義された複数のタイルのそれぞれのタイルに対して一意的に単一度の印を割り当てる工程と、
e)それぞれが一意的に割り当てられた単一度の印を有する複数のタイルの少なくとも幾つかを表示して、少なくとも1つの美容的皮膚特性を視覚化させる工程と、を含み、
ここで、表示された複数のタイルの少なくとも幾つかは、タイルの分析された少なくとも1つの美容的皮膚特性に基づいて、複数のタイルの非表示のタイルの美容的皮膚特性状態と比較してより良好である美容的皮膚特性を表示する。
【図面の簡単な説明】
【0009】
前述の一般的な説明及び以下の詳細な説明は両方とも、種々の実施形態を説明し、特許請求される発明の主題の本質及び特徴を理解するための概観又は骨組みを提供することが意図されることを理解されたい。添付の図面は、種々の実施形態の更なる理解を提供するために含められたものであり、本明細書の一部に組み込まれると共に本明細書の一部をなすものである。図面は、本明細書に記載される種々の実施形態を例示し、説明と共に、特許請求される発明の主題の原理及び動作を説明する役割を果たす。
図1】本発明によるネットワーク上の少なくとも1つの美容的皮膚特性を可視化するための例示的なシステムを示す図である。
図2】本発明による美容的皮膚特性を可視化するための代替的で例示的なシステムを示す図である。
図3】本発明による美容的皮膚特性を可視化するための例示的なシステムの構成要素を示すブロック図である。
図4A】本発明による美容的皮膚特性を可視化する方法を示す一連のプロセスフロー図である。
図4B】本発明による美容的皮膚特性を可視化する方法を示す一連のプロセスフロー図である。
図4C】本発明による美容的皮膚特性を可視化する方法を示す一連のプロセスフロー図である。
図5】本発明による美容的皮膚特性を可視化する方法を示すフローチャートである。
図6A】本発明による美容的皮膚特性を可視化する方法における第1のデジタル画像を取得する工程の詳細を示す、一連のプロセスフロー図である。
図6B】本発明による美容的皮膚特性を可視化する方法における第1のデジタル画像を取得する工程の詳細を示す、一連のプロセスフロー図である。
図6C】本発明による美容的皮膚特性を可視化する方法における第1のデジタル画像を取得する工程の詳細を示す、一連のプロセスフロー図である。
図7】第1のデジタル画像を取得する工程を示すフローチャートである。
図8】本発明による美容的皮膚特性を可視化する方法における複数のタイルを画定する工程を示す写真である。
図9】複数のタイルを画定する工程を示すフローチャートである。
図10】本発明による、定義された複数のタイルのそれぞれについて画像データを解析するプロセス500を示すフローチャートである。
図11A】本発明による複数のタイルの表示プロセスを示すプロセスフロー図である。
図11B】本発明による複数のタイルの表示プロセスを示すプロセスフロー図である。
図11C】本発明による複数のタイルの表示プロセスを示すプロセスフロー図である。
図12】本発明による複数のタイルを表示するプロセスを示すフローチャートである。
図13A】本発明による少なくとも1つの美容的皮膚特性を可視化する方法を示すプロセスフロー図である。
図13B】本発明による少なくとも1つの美容的皮膚特性を可視化する方法を示すプロセスフロー図である。
図13C】本発明による少なくとも1つの美容的皮膚特性を可視化する方法を示すプロセスフロー図である。
図13D】本発明による少なくとも1つの美容的皮膚特性を可視化する方法を示すプロセスフロー図である。
図14】本発明による少なくとも1つの美容的皮膚特性を可視化する方法を示すフローチャートである。
図15】本発明による少なくとも1つの美容的皮膚特性を可視化する代替的な方法を示すフローチャートである。
図16A】それぞれ、本発明による美容的皮膚特性を視覚化するための例示的なユーザーインターフェースを示すスクリーンショットである。
図16B】それぞれ、本発明による美容的皮膚特性を視覚化するための例示的なユーザーインターフェースを示すスクリーンショットである。
図16C】それぞれ、本発明による美容的皮膚特性を視覚化するための例示的なユーザーインターフェースを示すスクリーンショットである。
図16D】それぞれ、本発明による美容的皮膚特性を視覚化するための例示的なユーザーインターフェースを示すスクリーンショットである。
図16E】それぞれ、本発明による美容的皮膚特性を視覚化するための例示的なユーザーインターフェースを示すスクリーンショットである。
図17A】それぞれ、本発明による美容的皮膚特性を視覚化するための方法を繰り返すための追加の入力要求を提供するための例示的なユーザーインターフェースを示す、スクリーンショットである。
図17B】それぞれ、本発明による美容的皮膚特性を視覚化するための方法を繰り返すための追加の入力要求を提供するための例示的なユーザーインターフェースを示す、スクリーンショットである。
図18A】それぞれ、本発明による美容的皮膚特性を処置するための製品推奨の詳細を表示するための例示的なユーザーインターフェースを示す、スクリーンショットである。
図18B】それぞれ、本発明による美容的皮膚特性を処置するための製品推奨の詳細を表示するための例示的なユーザーインターフェースを示す、スクリーンショットである。
図19】本発明による美容的皮膚特性を表示するための、図16Dの例示的なユーザーインターフェースのスクリーンショットの変形形態である。
図20】本発明による美容的皮膚特性を処置するための製品推奨の詳細を表示するための例示的なユーザーインターフェースを示す、スクリーンショットである。
図21】本発明による美容的皮膚特性を可視化するための例示的なユーザーインターフェースである。
図22】本発明による美容的皮膚特性を可視化するための例示的なユーザーインターフェースである。
図23】本発明による少なくとも1つの美容的皮膚特性を可視化するための画像記述の一例としてのヒートマップを含む例示的なユーザーインターフェースを示す、スクリーンショットである。
図24図23のユーザーインターフェース内の少なくとも1つの美容的皮膚特性を可視化するための画像記述の代替的な変形形態を示す、スクリーンショットである。
図25】本発明による少なくとも1つの美容的皮膚特性を可視化するための例示的なユーザーインターフェースを示すスクリーンショットである。
【発明を実施するための形態】
【0010】
皮膚が(UV、経時的老化、精神的ストレス、環境因子によって引き起こされる)ストレスにさらされた場合、皮膚は、DNAレベル、細胞レベル、及び組織レベルを含む種々のレベルで損傷し得ることが知られている。皮膚へのこのような損傷は、皮膚の欠陥をもたらす可能性がある。これらの皮膚の欠陥の存在は、以下の実施例に記載されるように、皮膚の視覚性に有意に影響を与える。
・角質層が乾燥している場合(冬/空気状態)、光が表面からより多く反射(表面反射)して、皮膚上の線を引き起こす皮膚の微細組織を促進させ得る。
・真皮が(UVで)損傷した場合、真皮では光の散乱(真皮散乱としても知られる)がより少なく、光は、皮膚を透過し得る(表面下反射がより少ない)。真皮散乱が少ない場合、結果として皮膚は、より暗く見える。
・皮膚が慢性的なUVにさらされると、皮膚は、より多くのメラニンを生成する。メラニンは、光を吸収して表面下反射を減少させ、したがって皮膚はより暗く見える。
【0011】
上記の皮膚の欠陥は、消費者の目にとって皮膚質が悪いという視覚的に知覚不可能な徴候として現れる。消費者は、意識下レベルの不純物としてこれらの欠陥を考慮し得るが、意識的な知識の欠如のために、欠陥を改善するための措置を講じることができない。皮膚が慢性的なストレス及び/又は未処理にさらされる場合、これらの視覚的に知覚不可能な不純物は、最終的に可視及び知覚可能な表現型(色素斑、シワ、たるみ)につながる場合がある。
【0012】
本発明は、被験者の少なくとも1つの美容的皮膚特性を視覚化するための方法、装置、及びシステム、並びにグラフィカル・ユーザー・インターフェースに関する。美容的皮膚特性は、視覚的に知覚可能な美容的皮膚特性、又は視覚的に知覚不可能な美容的皮膚特性を含んでもよい。
【0013】
本方法は、
a)被験者の顔部の少なくとも一部の第1のデジタル画像を取得する工程であって、第1のデジタル画像は、顔部の入力画像の少なくとも1つの領域から選択される工程と、
b)取得された第1のデジタル画像にわたって複数のタイルを定義する工程と、
c)少なくとも1つの美容的皮膚特性について、定義された複数のタイルのそれぞれについて第1のデジタル画像を解析する工程と、
d)タイルの分析された少なくとも1つの美容的皮膚特性に基づいて、定義された複数のタイルのそれぞれのタイルに対して一意的に単一度の印を割り当てる工程と、
e)それぞれが一意的に割り当てられた単一度の印を有する複数のタイルの少なくとも幾つかを表示して、少なくとも1つの美容的皮膚特性を視覚化させる工程と、を含み、
ここで、表示された複数のタイルの少なくとも幾つかは、タイルの分析された少なくとも1つの美容的皮膚特性に基づいて、複数のタイルの非表示のタイルの美容的皮膚特性状態と比較してより良好である美容的皮膚特性を表示する。
【0014】
驚くべきことに、複数のタイルの非表示タイルの美容的皮膚特性状態と比較してより良好である美容的皮膚特性状態を表示するタイルの幾つかのみを表示することにより、消費者は、美容的皮膚特性の状態を容易に理解することができ、したがって、美容的皮膚特性の状態を改善するための処置を求めるための十分な情報を得た上での決定を行うことができる、ということが見出された。
【0015】
特に、非表示タイルを有する技術的効果は、単一のディスプレイ上、特に、例えば携帯電話などの小型のフォームファクタの電子携帯機器上に表示される「情報散乱」及び「情報過負荷」を最小化する。更なる技術的効果は、短時間でディスプレイを生成するために必要なデータ処理リソースを低減することができ、これにより、本発明を使用した場合に(例えば、携帯電話上のネイティブアプリケーションとして、又は携帯電話を通じてアクセスされるウェブアプリケーションを通じて)より良好なユーザ体験をもたらすことである。
【0016】
本発明を詳細に説明する前に、以下の用語が定義され、定義されない用語は、当業者によって理解されるような通常の意味を与えられるべきである。
【0017】
本明細書で使用する場合、「エントロピー」とは、離散ランダム分布(p(x))のシャノンエントロピー(Shannon entropy)(E)を意味し、以下の式によって定義される。
【0018】
【数1】
式中、p(x)は、グレーレベルの分布である。
【0019】
E(p)は、デジタル画像の色チャネル画像への変換後の色システム内のデジタル画像又は色チャネル画像における、情報の量を表す。
【0020】
本明細書で使用する場合、「エントロピー統計」とは、デジタル画像又は色チャネル画像を解析するための記述統計としてエントロピーを使用する統計的方法を意味する。デジタル画像がRGB画像である非限定的な例では、R(赤)、G(緑色)、及びB(青)チャネルのそれぞれについてのエントロピーを別々に計算することができる。画像のエントロピー値は、各画素位置(i,j)において、(i,j)を中心とする二次元領域内の画素値のエントロピー値を計算することによって計算することができる。二次元領域は、色チャネル画像の一部であってもよい。Pythonなどのプログラミングソフトウェアパッケージを使用して、エントロピー値を計算することができる。
【0021】
本明細書で使用する場合、「美容的皮膚特性」は、人体の領域に視覚的/審美的効果を提供する、又は皮膚の外観及び/若しくは感触に影響を与える全ての皮膚特性を含む。美容的皮膚特性の幾つかの非限定的な例としては、皮膚トポグラフィ、皮膚弾性、皮膚色調、皮膚色素沈着、皮膚のきめ、皮膚の毛穴、美容的皮膚炎症、皮膚の水和、皮膚皮脂レベル、座瘡、色素性母斑、皮膚のつや、皮膚光沢、皮膚のくすみ、不均一色調、又は皮膚バリアを挙げることができる。上記美容的皮膚特性が標準用語であり、美容的皮膚特性の対応する定義が、以下の公開された参照文献、すなわち「Handbook of cosmetic science and technology,3rd edition,editors Andre O.Barel,Marc Paye,Howard I.Maiback,CRC Press,2009」、「Cosmetic Science and Technology-Theoretical Principles and Applications,editors Kazutami Sakamoto Robert Y.Lochhead,Howard I.Maibach,Yuji Yamashita,Elsavier,2017」、「Cosmetic Dermatology:Products and Procedures,Editor(s):Zoe Diana Draelos,Blackwell Publishing Ltd,2010」に見出され得ることが、当業者には理解されよう。美容的皮膚特性は、医学的状態又は根本的な病状に関連する皮膚特性を含まない。
【0022】
本明細書で使用する場合、「知覚可能な美容的皮膚特性」とは、知覚者、即ち、人、ユーザ、又は被験者によって知覚されることができない、又は知覚不可能な美容的皮膚特性を意味する。認知は、提示された情報又は環境を表す及び理解するために、感覚情報の編成、特定、及び解釈を意味する「知覚」という語に由来する。全ての知覚は、神経系を通過する信号を含むが、これは次に、感覚システムの物理的又は化学的刺激から結果として生じる。例えば、視力は、眼の網膜を叩く光を伴い、匂いは臭気分子によって媒介され、聴覚は圧力波を伴う。知覚は、これらの信号の受動的受信だけでなく、受信者の学習、記憶、期待、及び注意によっても形作られる。知覚は、2つのプロセス、すなわち、これらの低レベル情報を(例えば、対象物認識のための形状を抽出する)より高レベルの情報に変換する、感覚入力を処理することに関するプロセス(1)と、知覚に影響を与える人の概念及び期待(又は知識)、修復機構及び選択的機構(注意など)と関係している処理に関連するプロセス(2)と、に分割できる。例えば、知覚者は、プロセス(1)の対象物を見ることができるが、プロセス(2)において対象物が何を表現/意味しているかを知覚して認識する知識を有していないため、対象物が視覚的に知覚不可能であることが考察される場合がある。
【0023】
本明細書で使用する場合、「視覚的に知覚不可能な美容的皮膚特性」は、肉眼で検出可能ではない、又は消費者によって視覚的に検出可能な美容的皮膚特性ではあるが、消費者が美容的皮膚特性を理解しないために知覚不可能な美容的皮膚特性とみなされる、全ての美容的皮膚特性を含む。肉眼で視覚的に検出できない視覚的に知覚不可能な美容的皮膚特性の幾つかの非限定的例としては、美容的皮膚炎症、皮膚皮脂レベル、又はいずれかの根元的な美容的皮膚特性が挙げられる。
【0024】
本明細書で使用する場合、「助力を受けない(Unaided)」とは、診断装置からの支援なしであることを意味する。
【0025】
本明細書で使用する場合、「タイル」とは、デジタル画像の一部を形成する、例えば画素などの単位を含み、したがって、「タイル」は、デジタル画像の全体を形成する。
【0026】
本明細書で使用する場合、「デジタル画像データ」は、デジタルカメラ、写真スキャナ、デジタル画像を記憶することが可能なコンピュータ可読記憶媒体、及び撮影能力を含む任意の電子機器を含むがこれらに限定されない画像取得機器から取得される画像データを含む。デジタル画像データはまた、RGB画像からカラーシステム内の色チャネル画像に変換される色チャネル画像を含んでもよい。
【0027】
本明細書で使用する場合、「単一度の印」は、グラフィック記号、数値、色コード、照明技術、及びこれらの組み合わせを含むが、これらに限定されない全ての電子的視覚表現を含む。
【0028】
本明細書で使用する場合、「皮膚特性指数」とは、数学的式、又は統計的方法及びデータから導出されるモデル、又はルックアップテーブル(情報のアレイ)に基づいて計算することができるスコアを意味する。皮膚特性指数は、定義された人々の母集団に対する人の皮膚の少なくとも一部の美容的皮膚特性の状態を示す確率値として生成されてもよく、好ましくは、皮膚特性指数は、F(エントロピー値)によって定義されるエントロピー値の関数として生成され、関数は、訓練データセット上に確立されたモデルによって決定され、訓練データセットは、(i)定義された人々の母集団の複数の色チャネル画像であって、複数の色チャネル画像のそれぞれが、定義された人々の母集団内の人の顔の皮膚を含み、顔の皮膚が美容的皮膚特性を含む、定義された人々の母集団の複数の色チャネル画像と、(ii)美容的皮膚特性に基づく関連クラス定義と、を含む。
【0029】
本明細書で使用する場合、「L***」は、国際照明委員会(International Commission on Illumination、「CIE」)によって規定された一般に認識されている色空間を意味する。3つの座標は、(i)色の明るさ(すなわち、L*=0で黒を生じ、L*=100は白の拡散を示す)、(ii)マゼンタと緑との間の色の位置(すなわち、負のa*値は緑を示し、正のa*値はマゼンタを示す)、及び(iii)黄と青との間の色の位置(すなわち、負のb*値は青を示し、正のb*値は黄を示す)、を表している。
【0030】
本明細書で使用する場合、「発色団マッピング」とは、メラニンマッピング及びヘモグロビンマッピングのための一般的に認識されている発色団空間を意味し、全体的な皮膚色調の指標として使用され得るメラニン濃度又はヘモグロビン濃度を決定する。発色団マップデータから平均メラニン又は平均ヘモグロビンを計算してもよい。加えて、皮膚色調の均一性はメラニン均一性又はヘモグロビン均一性から測定することができ(例えば、標準偏差)、これらはまた発色団マップデータから計算されてもよい。
【0031】
本明細書で使用する場合、「皮膚純度」は、人の皮膚の少なくとも一部において皮膚欠陥が不在である外観である。皮膚欠陥としては、皮膚トポグラフィ形態の表面反射、並びに/又はメラニン、ヘモグロビン及び/若しくはケラチノサイトなどの皮膚発色団の表面下反射から構成される不規則な又は不均一なスペクトル特性に影響を与える美容的皮膚特性、並びに線維芽細胞指向細胞代謝産物、並びに皮膚のつや、皮膚色調などが挙げられるが、これらに限定されない。
【0032】
本明細書で使用する場合、「皮膚年齢」とは、容貎、好ましくは人の顔部、好ましくは人の顔部の少なくとも一部、より好ましくは、人の顔部の少なくとも一部の対象領域(ROI)の少なくとも一部、更により好ましくは、眼の周囲の皮膚領域(「眼部領域」)、頬の周囲の皮膚領域(「頬部領域」)、口の周囲の皮膚領域(「口部領域」)、及びこれらの組み合わせからなる群から選択される少なくとも1つのROIに基づいて、視覚的に推定又は知覚されて標準年齢の皮膚外見と比較される、人の皮膚年齢を指す外見上の年齢を意味する。
【0033】
本明細書で使用する場合、「皮膚色調」とは、一般に、基礎皮膚色又は色均一性の全体的な外観を意味する。皮膚色調は一般に、皮膚の広い領域にわたり特徴付けられる。その領域は、100mm2超であってよいが、顔部の皮膚又は他の身体の皮膚表面(例えば腕部、脚部、背中部、手部、首部)の全体などの、より大きい範囲も想定されている。
【0034】
本明細書で使用する場合、「皮膚のシワ」とは、一般に、皮膚内の折り目、隆起部又は折れじわを意味し、小じわ、超微細じわ、微細シワ、超微細シワ、シワ、線を含むが、これらに限定されない。皮膚のシワは、例えば、密度及び/又は長さに関して測定されてもよい。
【0035】
本明細書で使用する場合、「皮膚のつや」とは、一般に、皮膚が反射する光量を意味し、皮膚の光沢と呼ばれる場合がある。
【0036】
本明細書で使用する場合、「皮膚のきめ」とは、一般に、皮膚表面のトポロジー又は粗さを意味する。
【0037】
本明細書で使用する場合、「皮膚の張り」とは、一般に、皮膚の堅さ又は弾性を指す。
【0038】
本明細書で使用する場合、「皮膚皮脂レベル」とは、一般に、皮膚中の皮脂腺によって分泌される油性又は蝋状物質である皮脂の量を意味する。
【0039】
本明細書で使用する場合、「皮膚の班」とは、一般に、皮膚の変色又は不均一な色素沈着(例えば、色素沈着過剰、斑点性)を意味する。皮膚の斑は、例えば、密度、サイズ、及び/又は変色の程度に関して評価することができる。
【0040】
本明細書で使用する場合、「スキンケア製品」とは、スキンケア活性物質を含み、皮膚の状態を調節及び/又は改善する製品を意味する。
【0041】
本明細書で使用する場合、「デジタル画像」とは、標準的なRGBなどを含むがこれらに限定されない画像システム内の画素によって、並びに異なる照明条件及び/又はモードで取得される画像の下に形成された、デジタル画像を意味する。デジタル画像の非限定的な例としては、カラー画像(RGB)、モノクロ画像、ビデオ、マルチスペクトル画像、ハイパースペクトル画像などが挙げられる。非限定的な光条件としては、白色光、青色光、UV光、IR光、特定波長の光、例えば、100~1000nm、300~700nm、400~700nm、又は上記の上限及び下限の異なる組み合わせ、又は上記に列挙した範囲の任意の整数の組み合わせの光を発する光源などが挙げられる。デジタル画像は、デジタルカメラ、写真スキャナ、デジタル画像を記憶することが可能なコンピュータ可読記憶媒体、及び撮影能力を含む任意の電子機器を含むがこれらに限定されない画像取得機器から得られてもよい。
【0042】
以下の説明では、記載されるシステムは、美容的皮膚特性を視覚化するためのシステムである。したがって、記載される装置は、美容的皮膚特性を視覚化するための装置であり、記載されるグラフィカル・ユーザー・インターフェースは、美容的皮膚特性を視覚化するためのグラフィカル・ユーザー・インターフェースである。グラフィカル・ユーザー・インターフェースは、少なくとも1つの美容的皮膚特性を処置するための製品推奨を提供するように更に構成されてもよい。
【0043】
代表的実施形態では、システムは、化粧品及びスキンケア製品を分析及び推奨する目的で小売化粧品カウンタに位置する独立型撮像システム(図2に示す)である。しかしながら、システム及び方法は、例えば、図1に示すように、画像取得ユニット及びディスプレイを備える電子携帯機器を介して、任意の場所で使用するように構成されてもよい、と考えられており、電子携帯機器は、ディスプレイ上に表示を生成するための装置とネットワークを介して美容的皮膚特性を視覚化するためのグラフィカル・ユーザー・インターフェースとに接続されている。
【0044】
システム
図1は、本発明による美容的皮膚特性を可視化するためのシステム10を示す概略図である。システム10は、ワイドエリアネットワーク(携帯電話網、公衆交換電話網、衛星ネットワーク、インターネットなど)、ローカルエリアネットワーク(ワイヤレスフィディリティ、Wi-Max、ZigBee(商標)、Bluetooth(商標)など)、及び/又は他の形態のネットワーク機能として具体化され得るネットワーク100を含んでもよい。ネットワーク100には、携帯電子機器12、及びディスプレイ上に表示を生成するための装置14、美容的皮膚特性を視覚化するためのグラフィカル・ユーザー・インターフェースが接続されている。装置104は遠隔に配置され、ネットワーク100を介して携帯電子機器に接続されている。
【0045】
携帯電子機器12は、携帯電話、タブレット、ラップトップ、携帯情報端末、並びに/又はデジタル写真のようなデジタル画像を捕捉、記憶、及び/若しくは転送するように構成された他のデータ処理機器であってもよい。したがって、携帯電子機器12は、ユーザ入力を受信するための入力装置12aと、画像を取得するためのデジタルカメラなどの画像取得機器18と、画像を表示するための出力装置12bと、を含んでもよい。携帯電子機器12はまた、ネットワーク100を介して他のデータ処理機器と通信するために構成されてもよい。携帯電子機器12は、エントロピー統計値を使用して取得された少なくとも1つの色チャネル画像を解析してエントロピー値を取得し、かつエントロピー値に基づいて、人の皮膚の少なくとも一部の美容的皮膚特性を決定するための、画像取得機器18と一体となった画像処理装置(図示せず)を更に含んでもよい。画像処理装置は、好ましくは、コンピュータ実行可能命令を有するプロセッサを備える。携帯電子機器12は、決定された美容的皮膚特性を記述するコンテンツデータを表示するディスプレイを生成するためのディスプレイ生成ユニット(電子LED/LCDディスプレイなど、図示せず)を更に備えてもよい。装置14は、画像取得論理144a、画像解析論理144a及びグラフィカル・ユーザー・インターフェース(以下、「GUI」)論理144cを記憶する、非一時的コンピュータ可読記憶媒体14a(以下、「記憶媒体」)を含んでもよい。記憶媒体14aは、ランダムアクセスメモリ(SRAM、DRAMなど)、読み出し専用メモリ(ROM)、レジスタ、及び/又は他の形態のデータ処理記憶ハードウェアを含んでもよい。画像取得論理144a、画像解析論理144b及びGUI論理144cは、コンピュータ実行可能命令を定義する。プロセッサ14bは、記憶媒体14aに連結され、プロセッサ14bは、図4A図4Cのプロセスフロー図及び図5のフローチャートに関して後に本明細書に記載される本発明による被検者の美容的皮膚特性を可視化するための方法200を実施するために、コンピュータ実行可能命令に基づいて構成されている。
【0046】
方法
図4A及び図5を参照すると、プロセッサ14bが開始された場合に、プロセッサ14bは、例えば工程202で画像取得論理144aを介して、取得対象の顔部の少なくとも一部の第1のデジタル画像51を生成する。プロセッサ14bは、取得された画像データ20にわたって複数のタイル54を画定する(工程204)。複数のタイル54は、図4Bに示すようにタイルマップ55を画定するように隣接していてもよい。工程206では、プロセッサは、少なくとも1つの美容的皮膚特性について、定義された複数のタイル54のそれぞれについて、画像データのそれぞれについて画像データを解析する。工程208では、分析された少なくとも1つの美容的皮膚特性に基づいて、定義された複数のタイルのそれぞれのタイル54に対して一意的に単一度の印40を割り当てる。それぞれが一意的に割り当てられた単一度の印を有する複数のタイルの少なくとも一部が、図4Cに示されるような少なくとも1つの美容的皮膚特性を可視化するように、工程210で表示される。ユーザ(消費者)によって提供される入力デジタル画像の画像データを解析することにより、単一のスクリーンショットにおいて、定義された複数のタイルのそれぞれについて解析された画像データを整理して表示することで、本発明による方法200は、美容的皮膚特性を視覚化するために必要とされる異なる照明システムの下で、別個のウィンドウ内に情報を表示するユーザーインターフェースをナビゲートするという厄介なタスクを回避しながら、ユーザ/消費者が美容的皮膚特性を容易に特定することを可能にする。例えば、UV光などの特定の条件は、肉眼で知覚できない紫外線班を可視化するために必要とされる場合がある。
【0047】
代表的実施形態では、各タイルについて一意的に割り当てられた単一度の印を有する第2のデジタル画像は、第1のデジタル画像51に挿入されてもよい。タイル54のサイズは、水平側(タイル幅、W)上の画素数、及び垂直側(タイル高さ、H)上の画素数によって定義されてもよいことが理解されるであろう。本発明による代表的な方法では、各タイルは、100×100画素以下、1×1画素~100×100画素、2×2画素~100×100画素、5×5画素~90×90画素、40×40画素~70×70画素、又は上記の上限及び下限の異なる組み合わせ、又は上記の範囲内の任意の整数の組み合わせのタイルサイズを含んでもよい。上記範囲のタイルサイズを有する技術的効果は、画像データの解析のためのより短い処理時間を可能にし、したがって、ディスプレイが、より短い時間で少なくとも1つの美容的皮膚特性を可視化することを可能にすることである。
【0048】
図1を参照すると、ネットワーク100は、携帯電子機器12からデジタル画像を取得し、本発明による方法200で使用される装置14にデジタル画像を送信するために使用されてもよい。入力装置12aは、プロセッサ14bを開始するためのユーザ入力を受信するために携帯電子機器12に連結されてもよい、又はそれと一体であってもよい。携帯電子機器12は、それぞれが一意的に割り当てられた単一度の印を有する、複数のタイルを表示するための出力装置12bを備えてもよい。入力装置12aは、マウス、タッチスクリーンディスプレイなどを含むことができるが、これらに限定されない。出力装置12bは、タッチスクリーンディスプレイ、非タッチスクリーンディスプレイ、プリンタ、顔部画像マップ30をディスプレイ表面、例えば図2に関して以下に説明するミラーなどのディスプレイ表面上に投影するためのプロジェクタを含んでもよいが、これらに限定されない。
【0049】
図2は、少なくとも1つの美容的皮膚特性を視覚化し、視覚化された少なくとも1つの美容的皮膚特性に基づいて化粧品及びスキンケア製品を推奨する目的で、小売化粧品カウンタに位置する独立型撮像システムとして構成されたシステム10の斜視図である。図3は、図2のシステム10のブロック図である。図2及び図3を参照すると、システム10は、少なくとも1つの美容的皮膚特性を視覚化するための対象のデジタル画像を取得するための画像取得機器18に接続された、図1の装置14用のハウジング11を備える。図2を参照すると、システム10は、ミラー16を含んでもよく、画像取得機器18は、画像取得機器18が視界から隠され得るように、ハウジング11内のミラー16の背後に取り付けられてもよい。画像取得機器18は、デジタルカメラ、デジタル化回路に接続されたアナログカメラ、スキャナ、ビデオカメラなどであってもよい。システム10は、ハウジング11の周囲に配置されたLEDライトなどの照明30を含んで、被験者のデジタル画像の生成を支援するLED照明システムを形成してもよい。システム10は、ユーザ入力を受信するための入力装置112aを有する。システム10は、ミラー16上に表示するために顔部マップ30を受信して投影するように構成されたプロジェクタなどの出力装置112bを更に備えてもよい。プロジェクタは、ハウジング11とは別個であるが、装置14に連結されてシステム10を形成する周辺部品であり得るため、図2には示されていない。システム10は、全体的な消費者体験を補完する及び/又は向上させるために、オーディオガイダンス出力を生成するための増幅器に任意選択的に連結された1つ以上のスピーカなどの、第2の出力装置112cを更に備えてもよい。
【0050】
システム10及び方法200が、本発明による少なくとも1つの美容的皮膚特性を可視化するように機能する方法を説明するために、工程202でどのように被験者の顔部のデジタル画像が取得されるか、工程204でどのようにタイルが定義されるか、工程206でどのように画像データが解析さるか、工程208でどのように単一度の印が各タイルに一意的に割り当てられるか、及び工程210でどのようにタイルが表示されるか、を理解することが有益である。したがって、本発明による方法200の工程202、204、206、208、210について、各工程を実施するための個々のプロセスについて以下に説明する。各プロセスはまた、サブルーチン、すなわち、本発明による方法200による対応する工程を実行するプログラム命令のシーケンスとして説明されてもよい。
【0051】
デジタル画像を取得する
本発明による方法200によるデジタル画像を取得する工程202について、図6A図6B及び図6Cを参照して説明するが、これは、第1のデジタル画像がどのように取得されるかを示す一連のプロセスフロー図であり、図7は、工程202に対応するデジタル画像を取得するプロセス300のフローチャートである。
【0052】
顔部1の入力画像50aを図6Aに示す。入力画像50aは、例えば、図7に示すように、プロセス300の工程302においてカメラ18を使用して、ユーザーによって捕捉されてもよい。図6Bは、入力画像50aをトリミングして、顔部の少なくとも一部を含む編集済み画像データ50bを取得する工程304を示す。入力画像50aは、顔部のアンカー特徴1aを特定することによってトリミングされてもよく、これには、眼部、鼻部、鼻孔部、口の角部などの顔部の特徴を含むがこれらに限定されず、またそれに応じてトリミングされる。図6Bに示されるように、眼部がアンカー特徴1aとして描かれているが、これは単なる例であり、任意の顕著な又は検出可能な顔部特徴(単数又は複数)は、アンカー特徴であってもよいことが理解されるであろう。編集済み画像データ50bは、工程308で取得される第1のデジタル画像51であってもよい。あるいは、図6Cに示すように、編集済み画像データ50bは、入力画像50aの1つ以上の不必要な部分を除去するためにトリミングによって更に処理されてもよく、それにより、工程308で境界線52によって画定された顔部1の少なくとも一部を含む第1のデジタル画像51を取得することができる。取得された第1のデジタル画像51は、境界線52によって画定される顔部1の少なくとも一部の少なくとも1つの対象領域(ROI)2を含んでもよい。ROI2は、顔部1の全体、好ましくは顔部の少なくとも一部、より好ましくは、顔部1の少なくとも一部を画定する1つ以上の皮膚領域であってもよい。皮膚領域がどのように画定されるかの詳細は、図10A図10C、及び図11のフローチャートを参照して以下に説明される。
【0053】
所望により、プロセス300は、ROI2が、眼の周囲の皮膚領域(「眼部領域2a」)、頬の周囲の皮膚領域(「頬部領域2b」)、口の周囲の皮膚領域(「口部領域2c」)、及びこれらの組み合わせからなる群から選択さてもよく、好ましくは、ROI2が対象の顔部1の少なくとも一部の一部分であり、より好ましくは、取得された第1のデジタル画像が顔部1の左側又は右側を画定する、工程306を含んでもよい。ROI2は、取得された第1デジタル画像の少なくとも5%、10%~100%、25%~90%の領域を含んでもよい。
【0054】
タイルを画定する
図8は、第1のデジタル画像データ51上の複数のタイル54を示す写真である。図9は、第1のデジタル画像データ51上の複数のタイル54を定義するプロセス400を示すフローチャートである。図8を参照すると、第1のデジタル画像データ51は、図6Cを参照して上述したように、境界線52によって画定された顔部1の少なくとも一部を含む。プロセス400は、取得された第1のデジタル画像を取り囲む境界線52を包囲する外周53を画定することを含む(工程402)。取得された第1のデジタル画像51は、画素の総数によって形成され、例えば、取得された第1のデジタル画像51は、入力画像50aのトリミング後の画像サイズに応じて、工程304又は工程306で決定される画素数を有してもよい。したがって、取得された第1のデジタル画像51に基づく全体画像サイズは、工程404で定義されてもよい。例えば、タイルサイズが40×40画素~70×70画素に設定される場合、それに応じて、工程406において取得された第1のデジタル画像51にわたって複数のタイル54を形成するタイル54の数は、特定のタイルサイズで全体画像サイズを分割することによって取得される。
【0055】
画像データを解析する
図10は、本発明による、定義された複数のタイルのそれぞれについて画像データを解析するプロセス500を示すフローチャートである。取得された第1のデジタル画像から少なくとも1つの色チャネルを抽出して、解析のために抽出された色チャネル画像を提供することにより、工程502でプロセス500を開始して、美容的皮膚特性を決定するためのエントロピー値を取得してもよい。以下の説明では、少なくとも1つの色チャネル画像は、RGB色空間からのL色チャネル画像、a-チャネル画像、b-チャネル画像、及びc-チャネル画像、及びこれらの組み合わせからなる群から選択されるL***色システムの画像であり、エントロピー値が、L-エントロピー値、a-エントロピー値、b-エントロピー値、c-エントロピー値、及びこれらの組み合わせからなる群から選択され、関数は、以下の式を有する。
皮膚特性指数=A+B×(L-エントロピー値)+C×(a-エントロピー値)+D×(b-エントロピー値)+E×(c-エントロピー)であり、
式中、A、B、C、D、及びEは定数であり、B、C、D、及びEのうちの少なくとも1つは、0ではない。
【0056】
しかしながら、少なくとも1つの色チャネルは、発色団系であってもよく、少なくとも1つの色チャネルは、メラニンチャネル又はヘモグロビンチャネルであってもよいと理解されよう。カラーシステムはまた、HSL/HSVカラーシステム、及びCMYKカラーシステムであってもよい。
【0057】
抽出された色チャネルを工程504でフィルタリングし、フィルタリングされた色チャネルをエントロピー統計値を用いて解析して、工程506で少なくとも1つの美容的皮膚特性を決定するためのエントロピー値を生成してもよい。フィルタリングされた色チャネルはまた、標準偏差、平均などを含むがこれらに限定されない他の記述統計を使用して解析されてもよいと理解されよう。エントロピー統計値を使用する技術的効果は、他の記述統計と比較してより高い精度を有し、また本発明による方法のより迅速な処理時間を可能にすることである。
【0058】
工程506では、人の皮膚の少なくとも1つの部分の美容的皮膚特性は、エントロピー値に基づいて決定される。
【0059】
少なくとも1つの色チャネル画像は、L***カラーシステム、RGBカラーシステム、HSL/HSVカラーシステム、及びCMYKカラーシステムからなる群から選択されるカラーシステム内の画像であってもよい。
【0060】
以下の表1は、エントロピー値に基づいて決定される、対応する色チャネル画像及び対応する美容的皮膚特性を有する各エントロピー値を設定する。表1に記載の色チャネル画像は、Lチャネル画像、a-チャネル画像、b-チャネル画像、c-チャネル画像、及びこれらの組み合わせからなる群から選択されるL***カラーシステムの画像である。
【0061】
【表1】
【0062】
美容的皮膚特性を決定することは、定義された人々の母集団に対する、人の皮膚の少なくとも一部の美容的皮膚特性の状態を示す確率値として皮膚特性指数を生成することを含んでもよい。具体的には、視覚認知試験では、消費者は、所定のスケールに基づいて、美容的皮膚特性について定義された人々の母集団のデジタル画像(例えば写真)をランク付けするように求められてもよい。ランク付けされたデジタル画像は、方法500に従って解析されるようにデータベースとして記憶されて、美容的皮膚特性と最も高い相関関係を有するエントロピー値を決定してもよい。
【0063】
あるいは、皮膚特性指数は、関数F(エントロピー値)によって定義されるエントロピー値の関数として生成されてもよく、関数は、訓練データセット上に確立されたモデルによって決定される。訓練データセットは、(i)定義された人々の母集団の複数の色チャネル画像であって、複数の色チャネル画像のそれぞれが、定義された人々の母集団内の人の顔部の皮膚を含み、顔部の皮膚は、美容的皮膚特性を含む、定義された人々の母集団の複数の色チャネル画像と、(ii)美容的皮膚特性に基づく関連クラス定義と、を含んでもよい。訓練データセットを構築するための技術は、画像処理方法の分野において当業者に既知であり、更に説明されない。
【0064】
モデルは、回帰モデル又は分類モデル、好ましくは線形回帰モデル、より好ましくは機械学習線形回帰モデル、最も好ましくは機械学習支援ベクトル回帰(machine learning support vector regression、SVR)モデルであってもよい。SVRモデルは、サポートベクトルマシン(Support Vector Machine、SVM)モデルの具体例である。SVMモデルはまた、サポートベクトル分類モデルであってもよい。
【0065】
SVRモデルを使用することにより、携帯電子機器上のネイティブアプリケーションとして実装された場合の方法の性能における、精度、再現性、速度の利点が可能になる。具体的には、SVRモデルの重量により、ネイティブアプリケーションがより小さいハードウェアフットプリントを有することを可能にし、その結果、本発明による方法は、Apple(商標)電話用のiOS又はAndroid電話用のAndroid OSを含むがこれらに限定されないオペレーティングシステム(OS)を有する携帯電話などの携帯電子機器において容易に展開することができる。
【0066】
分類モデルは、消費者を複数の群、好ましくは2つの群、より好ましくは3つの群に分類するために使用されてもよく、皮膚特性指数の数値に基づいて関連するクラス定義を定義するように、各群は、同じ美容的皮膚特性の状態の異なる程度を有する。例えば、本方法は、皮膚領域を高レベルの美容的皮膚特性状態に分類するように構成されたヒートマップ、又は群のそれぞれに割り当てられた閾値に基づいて、低レベルの美容的皮膚特性状態に分類するように構成されたヒートマップを表示してもよい。
【0067】
少なくとも1つの色チャネル画像は、RGB色システムからのL色チャネル画像、a-チャネル画像、b-チャネル画像、及びc-チャネル画像、及びこれらの組み合わせからなる群から選択されるL***色システムの画像であり、エントロピー値が、L-エントロピー値、a-エントロピー値、b-エントロピー値、c-エントロピー値、及びこれらの組み合わせからなる群から選択され、関数は、以下の式を有する。
皮膚特性指数=A+B×(L-エントロピー値)+C×(a-エントロピー値)+D×(b-エントロピー値)+E×(c-エントロピー)であり、
式中、A、B、C、D、及びEは、定数であり、B、C、D、及びEのうちの少なくとも1つは、0ではない。
【0068】
定数A、B、C、D、及びEは、訓練データセットのサイズ及び内容に基づいて変化してもよく、訓練データセットに基づいてモデルによって生成される任意の数値であってもよいと理解されよう。
【0069】
具体的には、上記のエントロピー値のそれぞれは、単独で、又はエントロピー値のうちの別の1つと組み合わせて使用されてもよい。例えば、単一のエントロピー値を使用することにより、より高速な計算速度が得ることができ、これにより、使用される非常に基本的なハードウェアを有する小型機器を可能にし、それによって、より効率的かつ費用効率の高い製品が得られる。
【0070】
少なくとも1つの色チャネル画像は、Lチャネル画像であってもよく、エントロピー値は、L-エントロピー値であり、式中、C、D、Eはそれぞれ0の値を有し、生成された皮膚特性指数は、皮膚純度、皮膚色調、又は皮膚のつやを示す。
【0071】
驚くべきことに、L色チャネル画像のL-エントロピー値は、皮膚純度と最も高い相関関係を有することが見出された。
【0072】
L-エントロピー値を得るために解析工程のための少なくとも1つの色チャネル画像としてL-チャネル画像を選択し、本発明による方法に従ってL-エントロピー値に基づいて皮膚純度を決定することの技術的効果は、色チャネル画像の解析に基づいて、他のエントロピー値と比較してL-エントロピー値が皮膚純度に対して最も高い相関関係(r=0.89)を有するためである。以下は、ピアソン相関係数(r)を用いた統計解析を使用した視覚認知試験からの結果との相関関係に基づいて生成されるデータである。相関関係の結果を以下の下表2に示す。
【0073】
【表2】
【0074】
より高いピアソン相関係数(r)は、エントロピー値が、視覚認知試験において試験される美容的皮膚特性の状態により寄与する因子であることを意味する。具体的には、視覚認知試験は、官能試験員の年齢=20-50の所定の数の官能試験員=302に基づいて実施される。官能試験員は、1~5のスケールで、(美容的皮膚特性の例として)皮膚純度についての人のランク写真を求めた。視覚認知試験結果及び上記相関関係結果に基づいて、(周波数フィルタによる)フィルタリングされた画像のLチャネルエントロピー値は、皮膚純度特性と最も高い相関関係を有することが見出された。したがって、デジタル画像内の人の皮膚の少なくとも一部の皮膚純度を決定するためのLチャネルのL-エントロピー値の使用により、消費者にとって適切な方法で、視覚的に知覚不可能な美容的皮膚特性から消費者にとって説明可能な美容的皮膚特性へと、皮膚純度を変換することができる。
【0075】
少なくとも1つの色チャネル画像は、a-チャネル画像であってもよく、エントロピー値は、a-エントロピー値であり、式中、B、D、Eはそれぞれ0の値を有し、生成された皮膚特性指数は、皮膚炎症を示す。
【0076】
少なくとも1つの色チャネル画像は、b-チャネル画像であってもよく、エントロピー値は、b-エントロピー値であり、式中、B、C、Eはそれぞれ0の値を有し、生成された皮膚特性指数は、皮膚色素沈着又は皮膚のくすみを示す。
【0077】
少なくとも1つの色チャネル画像は、c-チャネル画像であってもよく、エントロピー値は、c-エントロピー値であり、式中、B、C、Dはそれぞれ0の値を有し、生成された皮膚特性指数は、好ましくは、毛穴、小じわ、シワ、たるみ、皮膚弾性、及びこれらの組み合わせからなる群から選択される、皮膚トポグラフィを示す。
【0078】
好ましくは、被験者の年齢及び定義された人々の母集団の平均年齢は、それぞれ独立して、18~60歳、好ましくは20~40歳、より好ましくは25~35歳、更により好ましくは28~32歳であってもよい。
【0079】
所望により、抽出された色チャネル画像をフィルタリングする工程は、周波数フィルタを使用することを含んでもよく、好ましくは、周波数フィルタは、ガウス差(DoG)フィルタ、高速フーリエ変換(FFT)フィルタ、ウェーブレット変換フィルタ(Wavelet transformation filter)、及びこれらの組み合わせからなる群から選択され、より好ましくは、フィルタはDoGフィルタである。所望により、方法200は、フィルタリングされた色チャネルを解析する前に、フィルタリングされた色チャネルに画像補正係数を適用することを更に含んでもよい。
【0080】
図10を参照すると、画像データを解析することは、少なくとも2つの色チャネル、より好ましくは3つの色チャネルを解析することを含んでもよい。特に、赤の色チャネル、黄の色チャネル、及び青の色チャネルは、以下のように説明することができる。赤の色チャネルがL***色空間内にある場合、a-エントロピーは、フィルタリングされた赤の色チャネルのエントロピー値である。黄の色チャネルがL***カラーシステム内にある場合、b-エントロピーは、フィルタリングされた黄の色チャネルのエントロピー値である。青チャネルがテクスチャチャネルに対応する場合、c-エントロピーは、青の色チャネルのエントロピー値である。
【0081】
表示
本発明による方法は、美容的皮膚状態を可視化するために上述した生成された皮膚特性指標に対応する画像記述を生成する工程を更に含んでもよい。画像記述は、(図16D図25に示すような)ヒートマップと、美容的皮膚特性、図16Dの第4の領域194に示す皮膚年齢、図25の特徴934に示す皮膚純度スコアなどの美容的皮膚特性条件の、凝集スコア表示と、を含んでもよい。凝集スコアは、上述した生成された皮膚特性指数に基づいて計算されてもよい。
【0082】
図11A図11Cは、本発明の方法による複数のタイルを表示するプロセスの詳細を示すプロセスフロー図である。図12は、複数のタイルを表示するプロセスを示すフローチャートである。図11Aは、第1のデジタル画像51上に挿入された第2のデジタル画像60を示す写真である。第2のデジタル画像60は、それぞれが一意的に割り当てられた単一度の印40を有する複数のタイル54を表示した被験者の顔部の少なくとも一部を含む。図11Bは、それぞれが一意的に割り当てられた単一度の印を有する複数のタイル54に基づいて、取得された第1のデジタル画像上に表示された3つのゾーンである第1のゾーン110、第2のゾーン120、第3のゾーン130を示す。各ゾーン110、120、130は、図6A図6C及び図7を参照して上述した被験者の顔部1上のそれぞれの対象領域(ROI)2を特定する。境界線52及び外周53は、図11Bの第2のデジタル画像60内に表示されるが、図11Cの第2のデジタル画像60内には表示されないという点で、図11C図11Bとは異なる。第1のゾーン110は、第1のゾーン色110aを有する第1ゾーンラインを含んでもよく、第2のゾーン120は、第2のゾーン色120aを有する第2のゾーンラインを含んでもよく、第3のゾーン130は、第3のゾーン色130aを有する第3のゾーンラインを含んでもよい。各ゾーンにおけるタイル54の解析された画像データに基づいて、各ゾーンラインの色は、例えば図16Dの例示的なユーザーインターフェースに示されるように、被験者の他のゾーンに対して正常である、美しい、又は脆弱な状態であり得る美容的皮膚特性を視覚化するタイルをより良好に視覚的に区別するために、異なっていてもよい。
【0083】
図12は、本発明による複数のタイルを表示するプロセス600を示すフローチャートである。プロセス600は、プロセッサが各タイル54の解析された画像データを読み取りる工程602で開始されてもよく、タイル54の解析された少なくとも1つの視覚的美容的皮膚特性に基づいて、複数のタイルの各タイル54に単一度の印を一意的に割り当てる(工程604)。単一度の印が照明された場合、各タイルの解析された画像データは、工程606で各タイルにおける対応する照明の輝度を反映するように変換されてもよい。代表的な例では、ゾーン110は、ゾーン120内のタイルのそれぞれにおける照明度に対して、ゾーン110内のタイルのそれぞれにおいてより低い照明度を有してもよい。更に、工程608において、ゾーンは、第1のゾーン110が眼部ゾーンに対応し得、第2のゾーン120が頬部ゾーンに対応し得、第3のゾーン130が口部ゾーンに対応し得るように画定されてもよい。ゾーン内の表示された美容的皮膚特性を処置するために、ゾーンに製品推奨項目を割り当てるよう、各ゾーンのタイルの平均指数を計算して、対応するゾーンに従って表示された美容的皮膚特性と相関関係がある皮膚状態の診断を生成してもよい。具体的には、方法200は、表示された美容的皮膚特性を処置するために、少なくとも1つの製品推奨項目を表示することを更に含んでもよい。
【0084】
図13A~13Dは、本発明による少なくとも1つの美容的皮膚特性を可視化する方法を示すプロセスフロー図である。図14は、本発明による少なくとも1つの美容的皮膚特性を可視化する方法700を示すフローチャートである。図13Aは、図14の方法700の工程702で表示される被験者の顔部の少なくとも一部の第1のデジタル画像を示すカラー画像である。図13Bは、被験者の顔部の少なくとも一部の第2のデジタル画像、及びそれぞれが一意的に割り当てられた単一度の印を有する複数のタイルとを示すカラー画像であり、第2のデジタル画像は、工程704で第1のデジタル画像上に挿入される。所望により、第1のデジタル画像は、図13Cに示すようにグレースケールに変換されて、それぞれが一意的に割り当てられた単一度の印を有する複数のタイルと第1のデジタル画像との間で、より良好なコントラストを提供してもよい。工程706では、それぞれが一意的に割り当てられた単一度の印を有する複数のタイルに基づいて、3つのゾーンが第2のデジタル画像上に表示される。
【0085】
図15は、図14に示すような少なくとも1つの美容的皮膚特性を可視化する方法700の変形形態を示すフローチャートである。図14の方法700の工程706に続いて、少なくとも1つの製品推奨項目が工程708に表示される。工程710では、ユーザは、方法700を終了するように選択するよう促され、方法700は、ユーザが「はい」を選択した場合に工程712で終了する。ユーザが「いいえ」を選択した場合、図5の方法200の工程が実行され、方法700は工程708に戻る。
【0086】
ヒューマンマシンユーザーインターフェース
本発明はまた、少なくとも1つの美容的皮膚特性を処置するための製品推奨を提供するためのヒトマシンユーザーインターフェース(以下、「ユーザーインターフェース」)にも関する。ユーザーインターフェースは、入力装置及び画像取得機器を備えたタッチスクリーンディスプレイ/ディスプレイを含む携帯電子装置上のグラフィカル・ユーザー・インターフェースであってもよい。ユーザーインターフェースは、画像取得機器から取得された被験者の顔部の少なくとも一部の第1のデジタル画像を表示するタッチスクリーンディスプレイの第1の領域と、第1のデジタル画像上に挿入された第2のデジタル画像と、を含むことができ、第2のデジタル画像は、被験者の顔部の少なくとも一部を有し、表示された複数のタイルは、それぞれが一意的に割り当てられた単一度の印を有する。ユーザーインターフェースは、第1の領域とは異なるタッチスクリーンディスプレイの第2の領域を更に含んでもよく、第2の領域は、ユーザ入力を受信するための選択可能なアイコンを表示し、表示された美容的皮膚特性を処置するための少なくとも1つの製品推奨項目の画像が、ユーザが選択可能なアイコンをアクティブ化した場合にタッチスクリーンディスプレイ上に表示される。
【0087】
図16A~16Eは、それぞれ、本発明による美容的皮膚特性を視覚化するための、互いに協働する例示的なユーザーインターフェースをそれぞれ示す、スクリーンショットである。図16A図16Eであるが、先行するユーザーインターフェースに応答して連続的様式で提供される一連のユーザーインターフェースとして説明され、図16A図16Eのユーザーインターフェースは、上述したように、本発明による方法に従って少なくとも1つの美容的皮膚特性を可視化するための全体的なユーザーインターフェースを定義するために、複数の方法でプログラムすることができると理解されよう。好ましくは、図16A~16Eの全てのユーザーインターフェースは、本発明による美容的皮膚特性を視覚化するための例示的なユーザーインターフェースを画定する。
【0088】
図16Aは、第1のユーザ入力を受信するためのユーザーインターフェース160を示し、好ましくは、第1のユーザ入力はユーザの年齢である。ユーザーインターフェース160は、第1のユーザ入力を受信するための第1の領域162を含んでもよい。第1の領域162は、第1のユーザ入力を受信するための1つ以上のユーザ入力機構164を含んでもよい。ユーザ入力機構164は、例えば、図16Aに示されるようなユーザーの年齢などの所定のユーザ特徴に対応する選択可能な入力アイコンなどのものであってもよい。ユーザーインターフェース160は、第1のユーザ入力を提供するための、ユーザに対する対応する命令を含む、第2の領域166を更に含んでもよい。第2の領域166は、より多くのユーザーフレンドリーなインターフェースを提供するように、第1の領域162の上方に配置されてもよい。ユーザーインターフェース160は、本発明による方法200を開始するための開始オプションの一部であってもよい。
【0089】
図16Bは、第2のユーザ入力を受信するためのユーザーインターフェース170を示し、好ましくは、第2のユーザ入力は、ユーザに懸念を与える美容的皮膚特性である。美容的皮膚特性は、ユーザの皮膚の懸念として説明することができる。ユーザーインターフェース170は、図16Aのユーザ入力機構164からの第1のユーザ入力の選択に応答して提供されてもよい。ユーザーインターフェース170は、第2のユーザ入力を受信するための第1の領域172を含んでもよい。第1の領域172は、第2のユーザ入力を受信するための1つ以上のユーザ入力機構174を含んでもよい。ユーザ入力機構174は、例えば、所定の皮膚の懸念に対応する選択可能な入力アイコンなどであってもよい。第1の領域172は、1つ以上の入力機構174に対応する説明領域173を更に含んでもよく、説明領域173は、美容的皮膚特性又は皮膚の懸念の簡単な説明を含む。ユーザーインターフェース170は、ユーザ入力を提供するための、ユーザに対する対応する命令を含む、第2の領域176を更に含んでもよい。第2の領域176は、より多くのユーザーフレンドリーなインターフェースを提供するように、第1の領域172の上方に配置されてもよい。
【0090】
図16Cは、ユーザの入力画像を取得するためのユーザーインターフェース180を示す。ユーザーインターフェース180は、図7に記載されるプロセスに従って第1のデジタル画像を取得するために、アンカー特徴(眼部など)を整列させるための命令を有する第1の領域182を含んでもよい。ユーザーインターフェース180は、図16Bの1つ以上のユーザ入力機構174を介した第2のユーザ入力の選択に応じて提供されてもよい。
【0091】
図16Dは、少なくとも1つの美容的皮膚特性を表示するためのユーザーインターフェース190を示す。ユーザーインターフェース190は、ユーザの入力画像が図16Cのユーザーインターフェース180内で取得された後に提供されてもよい。ユーザーインターフェース190は、本発明の方法に従って少なくとも1つの美容的皮膚特性を可視化するために、それぞれが一意的に割り当てられた単一度の印を有する複数のタイルを表示する、第1の領域191を含んでもよい。第1の領域191は、図13Dに示されるような類似の特徴を表示することができるが、複数のタイルを画定する線のみが消灯される、及び/又は不可視層として設定されることが異なる。第1の領域191は、ユーザの顔部の少なくとも一部の眼部ゾーンに対応する第1のゾーン110と、ユーザの顔部の少なくとも一部の頬部ゾーンに対応する第2のゾーン120と、ユーザの顔部の少なくとも一部の口部ゾーンに対応する第3のゾーン130と、を含んでもよい。図16Dに示されるように、ゾーン結果は、第3の領域193内に表示されてもよく、それにより、ゾーン結果は、ユーザの顔部の少なくとも一部内のゾーンの指標の相対比較に基づいて、各ゾーンに対して生成され得る指標を含む。代表的実施形態では、ゾーン結果に応じて、第1のゾーン110は、正常/美しい/脆弱ゾーンとして説明されてもよく、第2のゾーン120は、正常/美しい/脆弱ゾーンとして説明されてもよく、第3のゾーン130は、正常/美しい/脆弱ゾーンとして説明されてもよい。好ましくは、各ゾーンは、ゾーン結果の相対的差に基づいて異なる説明を有してもよい。ユーザーインターフェース190はまた、第3のユーザ入力を受信するための第2の領域192を含む。第2の領域192は、第3のユーザ入力を受信するための1つ以上のユーザ入力機構1921を含んでもよい。ユーザ入力機構1921は、例えば、本発明による方法の次の工程に進むための選択可能な入力アイコンなどであってもよい。所望により、ユーザーインターフェース190は、ユーザの顔部の少なくとも一部の取得された第1のデジタル画像に基づいて、複数のタイルの各タイルの分析された少なくとも1つの美容的皮膚特性に基づいて、ユーザの皮膚年齢を表示するための第4の領域194を含んでもよい。
【0092】
図16Eは、製品推奨項目210を表示するための第1の領域201を含むユーザーインターフェース200を示す。ユーザーインターフェース200は、図16Dのユーザーインターフェース190からのユーザー入力機能1921の選択に応じて提供されてもよい。所望により、ユーザーインターフェース200は、製品推奨項目210の詳細を提供するための第2の領域202を含んでもよい。好ましくは、ユーザーインターフェース200は、例えば、製品推奨項目210の問い合わせ及び/又は購入のための製品コンサルタントからの支援の要求など、第4のユーザ入力を受信するための第3の領域203を含んでもよい。第3の領域203は、第4のユーザ入力を受信するための1つ以上のユーザ入力機構2031を含んでもよい。ユーザ入力機構2031は、例えば、本発明による方法の次の工程に進むための選択可能な入力アイコンなどであってもよい。
【0093】
図17Aは、図15を参照して説明されるように、本発明による美容的皮膚特性を可視化するための方法700の工程710による追加の追加の入力要求を提供するための、例示的なユーザーインターフェース300を示すスクリーンショットである。ユーザーインターフェース300は、図16Dのユーザ入力機構1921の選択に応じて提供されてもよい、又は図16Eのユーザーインターフェース200の後にプロセッサによって自動的に生成されてもよい。
【0094】
図17Aを参照すると、ユーザーインターフェース300は、例えば、方法700の工程712による方法を終了するための第5のユーザ入力を受信するための第1の領域301と、例えば、本発明の方法による次の工程を継続するための第6のユーザ入力を受信するための第2の領域302と、を含んでもよい。第1の領域301及び第2の領域302は、第4のユーザ入力を受信するための1つ以上のユーザ入力機構3011、3021を含んでもよい。ユーザ入力機構3011、3021は、例えば、本発明による方法の次の工程に進むための選択可能な入力アイコンなどであってもよい。所望により、ユーザーインターフェース300は、ユーザが第5又は第6のユーザ入力を提供するための期間を設定するためのタイマー機構を含む第3の領域303を含んでもよい。図17Bは、方法700の工程712を表示するための例示的なユーザーインターフェース400を示すスクリーンショットである。ユーザーインターフェース400は、方法700の終了をユーザに確認するためのコンテンツを示すための第1の領域401を含んでもよい。
【0095】
図18A及び18Bはスクリーンショットであり、それぞれは、製品推奨項目の詳細を表示するための例示的なユーザーインターフェース500、600、及び製品推奨項目がどのように本発明による美容的皮膚特性を処置するように機能するか、を示す。
【0096】
代表的実施形態では、本発明は、少なくとも1つの美容的皮膚特性を処置するための製品推奨を提供するためのユーザーインターフェースに関するものであり、ユーザーインターフェースは、ディスプレイ及び画像取得機器を含む携帯電子装置上にある。ユーザーインターフェースは、画像取得機器から取得された被験者の顔部の少なくとも一部の第1のデジタル画像、及び第1のデジタル画像上に挿入された第2のデジタル画像を表示する、ディスプレイの第1の領域であって、第2のデジタル画像は、被験者の顔部の少なくとも一部を有し、当該表示された複数のタイルは、それぞれが一意的に割り当てられた単一度の印を有する、第1の領域と、第1の領域とは異なるディスプレイの第2の領域であって、ユーザ入力を受信するための音声入力構成要素を表示し、表示された美容的皮膚特性を処理するための少なくとも1つの製品推奨項目の画像が、ユーザが音声入力構成要素をアクティブ化した場合にタッチスクリーンディスプレイ上に表示される、第2の領域と、第1の領域とは異なるディスプレイの第3の領域であって、表示された美容的皮膚特性を処理するための少なくとも1つの製品推奨項目の画像を表示する、第3の領域と、を含んでもよい。
【0097】
図19は、本発明による美容的皮膚特性を表示するための図16Dの例示的なユーザーインターフェース700の変形形態を示すスクリーンショットである。具体的には、図19のユーザーインターフェース700は、図16Dのユーザーインターフェース190と実質的に同じ特徴を有し、以下の、少なくとも1つの製品推奨項目210を表示するための第5の領域195、例えば更なる製品推奨項目を追加するためなどの、本発明の方法による次の工程を継続することなどの、ユーザ入力を受信するための第6の領域196、及び、例えば本発明の方法を終了するための、ユーザ入力を受信するための第7の領域197を含む、追加の特徴において異なる。第5の領域195及び第6の領域196は、それぞれのユーザ入力を受信するための1つ以上のユーザ入力機能を含んでもよい。ユーザ入力機構は、例えば、本発明による方法の次の工程に進むための選択可能な入力アイコンなどであってもよい。
【0098】
図20は、本発明による1つ以上の製品推奨項目を表示するための例示的なユーザーインターフェース800を示すスクリーンショットである。ユーザーインターフェース800は、第6の領域196内のユーザ入力機能を選択することに応じて提供されてもよい。ユーザーインターフェース800は、ユーザーインターフェース700と実質的に同じ特徴を有し、ユーザーインターフェース800が複数の製品推奨項目210を表示するという点で異なる。
【0099】
本発明による方法は、それぞれが一意的に割り当てられた単一度の印を有する複数のタイルに基づいて、対象の少なくとも1つの領域(ROI)、好ましくは1~3つのROI、より好ましくは3つのROIを表示することを含んでもよい。好ましくは、3つのROIのうちの表示された1つは、タイルの分析された少なくとも1つの美容的皮膚特性に基づいて、3つのROIのうちの他の1つの美容的皮膚特性状態と比較してより良好である美容的皮膚特性状態を表示する。
【0100】
図21は、美容的皮膚特性を表示するための例示的なユーザーインターフェース810のスクリーンショットである。具体的には、ユーザーインターフェース810は、図16Dのユーザーインターフェースと実質的に同じ特徴を有し、複数のタイルが表示されていない点で異なる。具体的には、ユーザーインターフェース810は、それぞれが対応するROIを画定する境界線を有する3つのROIを含む。具体的には、3つのROIは、眼部領域を画定する第1のROI 812、頬部領域を画定する第2のROI 814、及び口部領域を画定する第3のROI 816を含む。美容的皮膚特性は、乾燥皮膚/皮膚のきめであり、したがって、美容的皮膚特性の状態を説明する画像記述818、820、822は、3つのROI 812、814、816のそれぞれの隣に配置される。例えば、第3のROI 816は、表示されていないタイルの分析された美容的皮膚特性に基づいて、第3のROI 816が顔部上の美しいゾーンであることを示す画像記述822を有してもよい。
【0101】
図22は、美容的皮膚特性を表示するための例示的なユーザーインターフェース830のスクリーンショットである。具体的には、ユーザーインターフェース830は、図21のユーザーインターフェース820と実質的に同じ特徴を有し、3つのROI 812、814、816のそれぞれのタイル54が表示される点で異なる。タイル54は、例えばROI 816のみを表示するなど、単一のROIに表示されるように構成されてもよく、ROI 816は、画像記述822に基づいて美しいゾーンを示すと理解されよう。
【0102】
図23は、本発明による少なくとも1つの美容的皮膚特性を視覚化するためのデジタル画像51上に重ね合わされた画像記述901を含む、例示的なユーザーインターフェース900の部分図を示す。画像記述902は、上記の方法500から出力されたエントロピー値に基づいて生成されたヒートマップを含む。ヒートマップは、より良好な美容的皮膚特性状態に対応する低エントロピー値に基づく第1のヒートマップ区分906を含む。ヒートマップ904は、高いエントロピー値に基づく第2のヒートマップ区分908を更に含み、より乏しい美容的皮膚特性状態に対応する。第1のヒートマップ区分906は、第2のヒートマップ区分908における第2の複数のタイルとは視覚的に異なる第1の複数のタイルから形成される。例えば、第1の複数のタイルは、第2の複数のタイルの色とは異なる色を表示するように変換される。表示されていないヒートマップ区分910(以下、「非表示ヒートマップ区分910」)は、高エントロピー値と低エントロピー値との間のエントロピー値に対応する。ヒートマップ区分は、以下の表5に概説されるように、美容的皮膚特性状態及び皮膚特性指標に関連するエントロピー情報を表示するように、以下の通り構成されてもよい。
【0103】
【表3】
【0104】
図24は、図23のユーザーインターフェース900内の少なくとも1つの美容的皮膚特性を可視化するための画像記述902の代替的な変形形態を示す。画像記述920は、画像記述920が表示された対象領域(ROI)922を含み、表示されたROI 922が、より良好な美容的皮膚特性状態に対応する他の非表示対象領域(ROI)924に対して、より乏しい美容的皮膚特性状態を示すために色を表示するように変換されるという点で、図19の画像記述902とは異なる。単一のヒートマップ区分(図20を参照)又はROIを表示するだけの利点は、ユーザーインターフェースを見る消費者が過度に多くの視覚情報で過負荷されていないことである。
【0105】
図25は、少なくとも1つの美容的皮膚特性が皮膚純度である、本発明による少なくとも1つの美容的皮膚特性を可視化するための例示的なユーザーインターフェース930を示すスクリーンショットである。ユーザーインターフェース930は、ユーザーインターフェース930が、生成された皮膚特性指標に基づいて、美容的皮膚特性及び凝集スコア934を記述する代替のテキスト932を含むという点で、図19のユーザーインターフェース902とは異なる。ユーザーインターフェース930は、計測器936と、計測器936に沿って0~100のスケールで集計スコアを表す計測器マーカ938と、を更に備えてもよい。計測器936は、凝集スコア934を視覚化する異なる方法であり、任意であってもよい。計測器936の色は、第1のヒートマップ区分904及び第2のヒートマップ区部906を表す色の勾配を示すように構成されてもよい。
【0106】
本明細書に記載される本発明による美容皮膚状態を決定するための方法は、所定の期間にわたって美容的皮膚特性を追跡する工程を更に含んでもよい。例えば、図21に示されるようなユーザーインターフェース930は、選択された際に、プロセッサによって受信される命令及び実行される工程を引き起こして、カレンダー又はスケジュールを発生させ、美容的皮膚特性の改善を追跡するための美容的皮膚特性日記を作成する、第1の選択可能なアイコン940を備えてもよい。例えば、消費者が1日目に使用する場合、日付及び顔分析が記録され、メモリに保存される。続いて、消費者が将来(所定期間、1週間、1ヶ月、6ヶ月後)に本発明による方法を使用する場合はいつでも、消費者の顔部の皮膚を再び分析し、消費者は、1日目に対して所定期間後に、彼らの顔部の皮膚がどのように見えるかを比較することができる。本発明による方法は、消費者に特定のログインアカウントを介してアクセスすることができる、携帯電子機器又はウェブアプリケーション上にネイティブアプリケーションとして記憶されるダウンロード可能なソフトウェアアプリケーションであるように構成されてもよく、これにより、消費者は、本発明による方法に基づいて自己皮膚分析を実施することができ、ある期間にわたって改善(乏しい美容的皮膚特性状態を有するROIの減少)を観察及び/又は監視することができる。
【0107】
ユーザーインターフェース930は、選択された際に、反復される本発明による美容的皮膚特性を決定するための方法を可能にする、第2の選択可能なアイコン942を更に含んでもよい。例えば、上記の方法500を繰り返してもよい。
【0108】
上述した本開示の代表的な実施形態を、以下の段落に列挙して説明することができる。
A.被験者の少なくとも1つの視覚的に知覚不可能な美容的皮膚特性を可視化する方法であって、
a)被験者の顔部の少なくとも一部の第1のデジタル画像データを取得する工程と、 b)取得された画像データにわたって複数のタイルを定義する工程と、
c)少なくとも1つの視覚的に知覚不可能な美容的皮膚特性について、定義された複数のタイルのそれぞれについての画像データを解析する工程と、
d)タイルの分析された少なくとも1つの視覚的に知覚不可能な美容的皮膚特性に基づいて、定義された複数のタイルのそれぞれのタイルに対して一意的に単一度の印を割り当てる工程と、
e)それぞれが一意的に割り当てられた単一度の印を有する複数のタイルを表示して、少なくとも1つの視覚的に知覚不可能な美容的皮膚特性を視覚化させる工程と、を含む、方法。
【0109】
B.取得された第1のデジタル画像データが、被験者の顔部の少なくとも一部の少なくとも1つの対象領域(ROI)を含み、ROIは、眼の周囲の皮膚領域(「眼部領域」)、頬の周囲の皮膚領域(「頬部領域」)、口の周囲の皮膚領域(「口部領域」)、及びこれらの組み合わせからなる群から選択され、好ましくは、ROIは、被験者の顔部の少なくとも一部の部分であり、より好ましくは、取得された第1のデジタル画像データは顔部の左側又は右側を画定する、段落Aに記載の方法。
【0110】
C.各タイルが、100×100画素以下、好ましくは1×1画素~100×100画素、より好ましくは2×2画素~100×100画素、より好ましくは5×5画素~90×90画素のタイルサイズを含み、更により好ましくはタイルサイズが40×40画素~70×70画素である、段落A又はBに記載の方法。
【0111】
D.工程(c)における分析が、複数のタイルの全表面積の少なくとも5%、好ましくは10%~100%、より好ましくは25%~90%を分析することを含む、段落A、B、又はCのいずれか一項に記載の方法。
【0112】
E.定義された複数のタイルの各タイルについての単一度の印と、人々の母集団に関連付けられた所定の値との間の比較を表示することを更に含む、段落A~Dのいずれか一項に記載の方法。
【0113】
F.被験者の顔部の少なくとも一部の第2のデジタル画像データと、それぞれが一意的に割り当てられた単一度の印を有する当該表示された複数のタイルとを介在させることを更に含む、段落A~Eのいずれか一項に記載の方法。
【0114】
G.視覚的に知覚不可能な美容的皮膚特性が、皮膚トポグラフィ、皮膚弾性、皮膚色調、皮膚色素沈着、皮膚のきめ、皮膚の毛穴、美容的皮膚炎症、皮膚の水和、皮膚皮脂レベル、座瘡、色素性母斑、皮膚のつや、皮膚光沢、皮膚のくすみ、不均一色調、又は皮膚バリアからなる群から選択される、段落A~Fのいずれか一項に記載の方法。
【0115】
H.単一度の印が、図形記号、数値、カラーコード、照明、及びこれらの組み合わせからなる群から選択される、段落A~Gのいずれか一項に記載の方法。
【0116】
I.工程(e)で表示することが、それぞれが一意的に割り当てられた単一度の印を有する複数のタイルに基づいて、取得された第1のデジタル画像データ上で、少なくとも1つの対象領域(ROI)、好ましくは1~3つのROI、より好ましくは3つのROIを定義することを含む、段落A~Hのいずれか一項に記載の方法。
【0117】
J.表示された視覚的に知覚不可能な美容的皮膚特性を処置するための少なくとも1つの製品推奨項目を表示することを更に含む、段落A~Iのいずれか一項に記載の方法。
【0118】
K.画像データを解析することが、
i)取得されたデジタル画像から少なくとも1つの色チャネルを抽出して、抽出された色チャネル画像を提供することと、
ii)抽出された色チャネル画像をフィルタリングすることと、
iii)エントロピー統計を使用してフィルタリングされた色チャネル画像を解析して、少なくとも1つの視覚的に知覚不可能な美容的皮膚特性を決定することと、を含む、段落A~Jのいずれか一項に記載の方法。
【0119】
L.工程(ii)の抽出された色チャネル画像をフィルタリングすることが、周波数フィルタを使用することを含み、好ましくは、周波数フィルタは、ガウス差(DoG)フィルタ、高速フーリエ変換(FFT)フィルタ、ウェーブレット変換フィルタ、及びこれらの組み合わせからなる群から選択され、より好ましくは、フィルタはDoGフィルタである、段落Kに記載の方法。
【0120】
M.少なくとも1つの色チャネルが、赤の色チャネル、黄の色チャネル、及び青の色チャネルから選択されてもよく、好ましくは、本方法は、少なくとも2つの色チャネル、より好ましくは3つの色チャネルを含み、ここで、
赤の色チャネルはL***色空間内にあり、ここで、a-エントロピーは、フィルタリングされた赤の色チャネルのエントロピー値であり、
黄の色チャネルはL***カラーシステム内にあり、ここで、b-エントロピーは、フィルタリングされた黄の色チャネルのエントロピー値であり、
青の色チャネルはテクスチャチャネルに対応し、ここで、c-エントロピーは、青の色チャネルのエントロピー値である。
【0121】
N.少なくとも1つの視覚的に知覚不可能な美容的特性を事前定義されたデータセットと比較して指標を割り当てる工程を更に含む方法であって、
各タイルに一意的に単一度の印を割り当てることが、割り当てられた指標に基づいており、
それぞれ一意的に割り当てられた指標を有する複数のタイルを表示する、段落K、L、又はMのいずれか一項に記載の方法。
【0122】
O.指標が、視覚的に知覚不可能な美容的皮膚特性のa-エントロピー値、b-エントロピー値、c-エントロピー値のうちの少なくとも1つに基づいて計算され、事前定義されたデータセットは、定義された母集団の同じ視覚的に知覚不可能な美容的皮膚特性の所定のa-エントロピー値、b-エントロピー値、c-エントロピー値を含む、段落Nに記載の方法。
【0123】
P.被験者の年齢及び定義された人々の母集団の平均年齢が、それぞれ独立して、18~40歳、好ましくは20~40歳、より好ましくは25~35歳、更により好ましくは28~32歳である、段落Oに記載の方法。
【0124】
Q.少なくとも1つの色チャネル画像が赤の色チャネルであり、
好ましくは、視覚的に知覚不可能な特性の美容的皮膚特性が、皮膚炎症である、段落K、L、M、N、O又はPのいずれか一項に記載の方法。
【0125】
R.少なくとも1つの色チャネルが黄の色チャネルであり、
好ましくは、視覚的に知覚不可能な美容的皮膚特性が、皮膚色素沈着/くすみである、段落K、L、M、N、O、P又はQのいずれか一項に記載の方法。
【0126】
S.少なくとも1つの色チャネルがテクスチャチャネルであり、
好ましくは、視覚的に知覚不可能な美容的皮膚特性が、皮膚トポグラフィ、より好ましくは毛穴、小じわ、微細シワ、たるみ、皮膚弾性である、段落K、L、M、N、O、P、Q又はRのいずれか1つに記載の方法。
【0127】
T.画像データを解析する前に、画像補正係数をフィルタリングされた色に適用することを更に含む、段落K、L、M、N、O、P、Q、R、又はSのいずれか一項に記載の方法。
【0128】
U.少なくとも1つの視覚的に知覚不可能な美容的皮膚特性を処置するための製品推奨を提供するためのグラフィカル・ユーザー・インターフェースであって、グラフィカル・ユーザー・インターフェースは、入力装置及び画像取得機器を有するタッチスクリーンディスプレイ/ディスプレイを含む携帯電子装置上にあり、グラフィカル・ユーザー・インターフェースは、
画像取得機器から取得された被験者の顔部の少なくとも一部の第1のデジタル画像データと、第1のデジタル画像データ上に挿入された第2のデジタル画像データと、を表示するタッチスクリーンディスプレイの第1の領域であって、第2のデジタル画像データは、被験者の顔部の少なくとも一部を有し、表示された複数のタイルは、それぞれが一意的に割り当てられた単一度の印を有する、第1の領域と、
第1の領域とは異なるタッチスクリーンディスプレイの第2の領域であって、ユーザ入力を受信するための選択可能なアイコンを表示する、第2の領域と、を含み、表示された視覚的に知覚不可能な美容的皮膚特性を処置するための少なくとも1つの製品推奨項目の画像が、ユーザが選択可能なアイコンをアクティブ化した場合にタッチスクリーンディスプレイ上に表示される、グラフィカル・ユーザー・インターフェース。
【0129】
V.少なくとも1つの視覚的に知覚不可能な美容的皮膚特性を処置するための製品推奨を提供するためのヒューマンマシンインターフェースであって、ヒューマンユーザーインターフェースは、ディスプレイ及び画像取得機器を含む携帯電子装置上にあり、グラフィカル・ユーザー・インターフェースが、
画像取得機器から取得された被験者の顔部の少なくとも一部の第1のデジタル画像データと、第1のデジタル画像データ上に挿入された第2のデジタル画像データと、を表示するディスプレイの第1の領域であって、第2のデジタル画像データは、被験者の顔部の少なくとも一部を有し、当該表示された複数のタイルは、それぞれが一意的に割り当てられた単一度の印を有する、第1の領域と、
第1の領域とは異なるディスプレイの第2の領域であって、ユーザ入力を受信するための音声入力構成要素を表示し、表示された視覚的に知覚不可能な美容的皮膚特性を処置するための少なくとも1つの製品推奨項目の画像が、ユーザが音声入力構成要素をアクティブ化した場合にタッチスクリーンディスプレイ上に表示される、第2の領域と、
第1の領域とは異なるタッチスクリーンディスプレイの第3の領域であって、表示された視覚的に知覚不可能な美容的皮膚特性を処理するための少なくとも1つの製品推奨項目の画像を表示する、第3の領域と、を含む、ヒューマンマシンインターフェース。
【0130】
W.被験者の少なくとも1つの視覚的に知覚不可能な美容的皮膚特性を可視化するための装置であって、人のデジタル画像及びコンピュータ実行可能命令を記憶するように構成された、非一時的コンピュータ可読記憶媒体と、
記憶媒体に連結されたプロセッサであって、コンピュータ実行可能命令に基づいて、
a)被験者の顔部の少なくとも一部の第1のデジタル画像データを取得し、
b)取得された画像データにわたって複数のタイルを定義し、
c)少なくとも1つの視覚的に知覚不可能な美容的皮膚特性について、定義された複数のタイルのそれぞれについての画像データを解析し、
d)タイルの分析された少なくとも1つの視覚的に知覚不可能な美容的皮膚特性に基づいて、定義された複数のタイルのそれぞれのタイルに対して一意的に単一度の印を割り当て、
e)それぞれが一意的に割り当てられた単一度の印を有する複数のタイルを表示して、少なくとも1つの視覚的に知覚不可能な美容的皮膚特性を視覚化させるように構成されたプロセッサと、を備える、装置。
【0131】
X.段落Wに記載の装置と、装置に動作可能に接続されたタッチスクリーンディスプレイと、を備えるシステム。
【0132】
Y.被験者の少なくとも1つの美容的皮膚特性を可視化する方法であって、
a)被験者の顔部の少なくとも一部の第1のデジタル画像データを取得する工程であって、第1のデジタル画像データは、少なくとも顔部の入力画像領域から選択される工程と、
b)取得された第1のデジタル画像データにわたって複数のタイルを定義する工程と、
c)少なくとも1つの美容的皮膚特性について、定義された複数のタイルのそれぞれについての画像データを解析する工程と、
d)タイルの分析された少なくとも1つの美容的皮膚特性に基づいて、定義された複数のタイルのそれぞれのタイルに対して一意的に単一度の印を割り当てる工程と、
e)それぞれが一意的に割り当てられた単一度の印を有する複数のタイルの少なくとも幾つかを表示して、少なくとも1つの美容的皮膚特性を視覚化させる工程と、を含み、 f)表示された複数のタイルの少なくとも幾つかは、タイルの分析された少なくとも1つの美容的皮膚特性に基づいて、複数のタイルの非表示のタイルの美容的皮膚特性状態と比較してより良好である美容的皮膚特性を表示する、方法。
【0133】
Z.取得された画像データが、被験者の顔部の少なくとも一部の少なくとも1つの対象領域(ROI)を含み、ROIが、眼の周囲の皮膚領域、頬の周囲の皮膚領域、口の周囲の皮膚領域、及びこれらの組み合わせからなる群から選択される、主張Yに記載の方法。
【0134】
AA.被験者の少なくとも1つの美容的皮膚特性を可視化する方法であって、
a)被験者の顔部の少なくとも一部の第1のデジタル画像を表示する工程と、
b)被験者の顔部の少なくとも一部の第2のデジタル画像と、それぞれが一意的に割り当てられた単一度の印を有する複数のタイルとを介在させる工程と、
c)第2のデジタル画像データ上に、それぞれが一意的に割り当てられた単一度の印を有する複数のタイルに基づいて、被験者の顔部の少なくとも一部の少なくとも1つの対象領域(ROI)を表示することであって、ROIは、眼の周囲の皮膚領域、頬の周囲の皮膚領域、口の周囲の皮膚領域、及びこれらの組み合わせからなる群から選択される、第2のデジタル画像データ上に、それぞれが一意的に割り当てられた単一度の印を有する複数のタイルに基づいて、被験者の顔部の少なくとも一部の少なくとも1つの対象領域(ROI)を表示する工程を含む、方法。
【0135】
BB.少なくとも1つのROIが、色を有する境界線によって画定される、段落AAに記載の方法。
【0136】
CC.表示する工程が、2つ又は3つのROIを表示することを含み、2つ又は3つのROIのうちの1つは、2つ又は3つのROIのうちの他のROIのそれぞれとは異なる境界線色を有する、段落AA又はBBに記載の方法。
【0137】
DD.被験者の少なくとも1つの視覚的に知覚不可能な美容的皮膚特性を可視化するための装置であって、人のデジタル画像及びコンピュータ実行可能命令を記憶するように構成された、非一時的コンピュータ可読記憶媒体と、
記憶媒体に連結されたプロセッサであって、コンピュータ実行可能命令に基づいて、
a)被験者の顔部の少なくとも一部の第1のデジタル画像を表示し、
b)被験者の顔部の少なくとも一部の第2のデジタル画像と、それぞれが一意的に割り当てられた単一度の印を有する複数のタイルとを介在させ、
c)第2のデジタル画像データ上に、それぞれが一意的に割り当てられた単一度の印を有する複数のタイルに基づいて、被験者の顔部の少なくとも一部の少なくとも1つの対象領域(ROI)を表示することであって、ROIは、眼の周囲の皮膚領域、頬の周囲の皮膚領域、口の周囲の皮膚領域、及びこれらの組み合わせからなる群から選択される、表示するように構成された、プロセッサと、を備える、装置。
【0138】
相互参照される又は関連する任意の特許又は特許出願、及び本願が優先権又はその利益を主張する任意の特許出願又は特許を含む、本明細書に引用される全ての文書は、除外又は限定することを明言しない限りにおいて、その全体が本明細書に参照として組み込まれる。いかなる文献の引用も、本明細書中で開示又は特許請求される任意の発明に対する先行技術であるとはみなされず、あるいはそれを単独で又は他の任意の参考文献(単数又は複数)と組み合わせたときに、そのようないかなる発明も教示、示唆又は開示するとはみなされない。更に、本文書における用語の任意の意味又は定義が、参照により組み込まれた文書内の同じ用語の任意の意味又は定義と矛盾する場合、本文書においてその用語に与えられた意味又は定義が適用されるものとする。
【0139】
本発明の特定の実施形態を例示及び説明してきたが、本発明の趣旨及び範囲から逸脱することなく種々のその他の変更及び修正を行うことができる点が当業者には明白であろう。したがって、本発明の範囲内にある全てのそのような変更及び修正を添付の特許請求の範囲に網羅することが意図される。
図1
図2
図3
図4A
図4B
図4C
図5
図6A
図6B
図6C
図7
図8
図9
図10
図11A
図11B
図11C
図12
図13A
図13B
図13C
図13D
図14
図15
図16A
図16B
図16C
図16D
図16E
図17A
図17B
図18A
図18B
図19
図20
図21
図22
図23
図24
図25
【外国語明細書】