特表 2022-554010 肌の評価

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-12-27

(54)【発明の名称】肌の評価

(51)【国際特許分類】

   A61B 5/00 20060101AFI20221220BHJP

【ＦＩ】

A61B5/00 M

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022525313

(86)(22)【出願日】2020-10-28

(85)【翻訳文提出日】2022-05-25

(86)【国際出願番号】 EP2020080220

(87)【国際公開番号】W WO2021083923

(87)【国際公開日】2021-05-06

(31)【優先権主張番号】19206773.4

(32)【優先日】2019-11-01

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

２．ＺＩＧＢＥＥ

(71)【出願人】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】110001690

【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】フェルナンド シャキス デヴィンダ

(72)【発明者】

【氏名】ファン ブリー カール カタリナ

(72)【発明者】

【氏名】ツマ キラン クマル

【テーマコード（参考）】

4C117

【Ｆターム（参考）】

4C117XB01

4C117XB13

4C117XD05

4C117XE43

4C117XJ13

4C117XK09

(57)【要約】

一態様によれば、対象者の肌を評価するための装置が提供される。装置は処理部を備え、処理部は、対象者の肌の画像を取得するイメージングユニットから対象者の肌の１つ又は複数の画像を受信するように構成され、処理部が、肌の色素ネットワークの構造の１つ又は複数の特性に基づいて対象者の肌の肌タイプ及び／又はメラニン指数を決定するように１つ又は複数の画像を処理し、決定された肌タイプ及び／又はメラニン指数を示す第１の信号を出力するように構成される。

【特許請求の範囲】

【請求項1】

対象者の肌を評価するための装置であって、前記装置が処理部を備え、前記処理部が、
前記対象者の前記肌の画像を取得するイメージングユニットから前記対象者の前記肌の１つ又は複数の画像を受信し、
前記肌の色素ネットワークの構造の１つ又は複数の特性に基づいて前記対象者の前記肌の肌タイプ及び／又はメラニン指数を決定するようにに、前記１つ又は複数の画像を処理し、
決定された前記肌タイプ及び／又はメラニン指数を示す第１の信号を出力する、
装置。

【請求項2】

前記肌の前記色素ネットワークの前記構造の前記１つ又は複数の特性が、
前記構造におけるメラニンの存在と、
前記構造におけるケラチノサイト及び／又はメラノサイト中のメラニンの存在と、
前記肌の真皮上皮接合部に沿ったケラチノサイト及び／又はメラノサイト中のメラニンの存在と、
前記肌の真皮乳頭の突縁及び／又は突起の存在と
のうちのいずれかに関係する、
請求項１に記載の装置。

【請求項3】

前記処理部が、前記１つ又は複数の画像から、前記肌のケラチノサイト及び／又はメラノサイト中のメラニンの存在及び／又は密度を決定する、請求項１又は２に記載の装置。

【請求項4】

前記処理部が、前記１つ又は複数の画像から、真皮乳頭の突縁及び／又は突起のパターンを決定する、請求項１から３のいずれか一項に記載の装置。

【請求項5】

前記処理部が、前記色素ネットワークの前記構造の１つ又は複数の特性に基づいて前記対象者の前記肌の前記肌タイプ及び／又はメラニン指数を決定するように前記１つ又は複数の画像を処理するために、学習済み機械学習モデルを使用する、請求項１から４のいずれか一項に記載の装置。

【請求項6】

決定された前記肌タイプが、普通肌、乾燥肌、油性肌、日焼けした肌、日焼けしていない肌、混合肌、及びフィッツパトリック尺度における肌タイプのうちのいずれかを含む、請求項１から５のいずれか一項に記載の装置。

【請求項7】

前記装置が、前記第１の信号を受信するユーザインターフェースをさらに備え、前記第１の信号が、前記ユーザインターフェースに、決定された前記肌タイプ及び／又はメラニン指数を示すユーザへのフィードバックを出力させる、請求項１から６のいずれか一項に記載の装置。

【請求項8】

前記第１の信号が、処置デバイスの制御部に出力され、前記制御部が、前記処置デバイスの１つ又は複数の動作設定を決定するために前記第１の信号を使用する、請求項１から７のいずれか一項に記載の装置。

【請求項9】

前記処理部が、受信された前記１つ又は複数の画像を色に関して正規化し、前記肌の前記肌タイプ及び／又はメラニン指数を決定するために前記１つ又は複数の正規化された画像を処理する、請求項１から８のいずれか一項に記載の装置。

【請求項10】

対象者の肌の画像を取得するイメージングユニットと、
請求項１から９のいずれか一項に記載の装置と
を備える、システム。

【請求項11】

前記肌を照らすための１つ又は複数の光源をさらに備える、請求項１０に記載のシステム。

【請求項12】

前記１つ又は複数の光源が、可視スペクトラムに波長を有する光を発光し、発光された青色光は、他の色の光よりも高い輝度を有する、請求項１１に記載のシステム。

【請求項13】

対象者の肌を評価するためのコンピュータ実施方法であって、前記コンピュータ実施方法は、
前記対象者の前記肌の画像を取得するイメージングユニットから前記対象者の前記肌の１つ又は複数の画像を受信するステップと、
前記肌の色素ネットワークの構造の１つ又は複数の特性に基づいて前記対象者の前記肌の肌タイプ及び／又はメラニン指数を決定するように前記１つ又は複数の画像を処理するステップと、
決定された前記肌タイプ及び／又はメラニン指数を示す第１の信号を出力するステップと
を有する、コンピュータ実施方法。

【請求項14】

具現化されたコンピュータ可読コードを有するコンピュータ可読媒体であって、前記コンピュータ可読コードは、適切なコンピュータ又は処理部によって実行されると、前記コンピュータ又は処理部に、請求項１３の方法を実行させる、コンピュータ可読媒体。

【請求項15】

対象者の肌を評価するための請求項５に記載の装置で使用される機械学習モデルを訓練するための装置であって、前記機械学習モデルを訓練するための装置は、
１人又は複数の検査対象者のために肌の複数の画像を取得し、各画像は、肌タイプ及び／又はメラニン指数の標示を用いて注釈が付けられ、
前記肌の色素ネットワークの構造の１つ又は複数の特性に基づいて異なる肌タイプ及び／又はメラニン指数の画像間を区別するために、複数の画像を使用して前記機械学習モデルを訓練する、
処理部を備える、装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、肌を評価することに関し、より詳しくは肌の肌タイプ及び／又はメラニン指数を決定することに関する。

【背景技術】

【0002】

インテンスパルスライト（ＩＰＬ）技術は、限定されないが、光脱毛、病変治療、光若返り、在宅パーソナルケア、プロフェッショナルパーソナルケア、及び医療現場などの多くの用途に対する人気の高いソリューションである。家庭環境における光脱毛の場合、ＩＰＬ光脱毛デバイスは、毛髪中のメラニンを標的として広域スペクトラム光を肌の表面に印加する。（成長周期の成長期にある）毛髪及び毛嚢は、このエネルギを吸収して、静止期に移行する。これは、毛髪の再成長を防ぐ。毛髪除去ための上記のＩＰＬ技術の効果的な使用（例えば肌の損傷又は炎症を最小限にする）のために、ＩＰＬ光脱毛デバイスのエネルギ設定が、肌の肌色に基づいて調節されなければならない。例えばＰｈｉｌｉｐｓ Ｌｕｍｅａ ＰｒｅｓｔｉｇｅなどのいくつかのＩＰＬ光脱毛デバイスは肌色を検出して、適切なエネルギ設定を選択する。肌色は、検出されて、例えば６つの異なるタイプのうちの１つに分類され得る。肌タイプ１から６は、「白」、「ベージュ」、「淡褐色」、「中程度の褐色」、「暗褐色」、及び「褐色がかった黒及びそれより暗い色」として大まかにラベル付けされ得る。毛髪又は毛嚢ではなく、肌が光パルスにおけるエネルギを吸収するため、ＩＰＬ光脱毛デバイスは、通常、より暗い色の肌に対しては使用されるべきではない。この場合、例えば褐色がかった黒及びそれより暗い肌色が検出されたときは、デバイスはフラッシュをトリガするべきではない。

【0003】

毛髪除去に加えて、光ベースの技術は、座瘡及び皮膚病変を治療することを含む他の種類の皮膚科的治療のためにも使用され得る。

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば「Ａ ｐｏｒｔａｂｌｅ ｒｅｆｌｅｃｔｏｍｅｔｅｒ ｆｏｒ ａ ｒａｐｉｄ ｑｕａｎｔｉｆｉｃａｔｉｏｎ ｏｆ ｃｕｔａｎｅｏｕｓ ｈａｅｍｏｇｌｏｂｉｎ ａｎｄ ｍｅｌａｎｉｎ」Ｆｅａｔｈｅｒ Ｊ．Ｗ．、Ｅｌｌｉｓ Ｄ．Ｊ．及びＬｅｓｌｉｅ Ｇ．著、Ｐｈｙｓ．Ｍｅｄ．Ｂｉｏｌ.１９８８，３３，７１１－７２２頁に記載されるように、ＩＰＬデバイスにおける肌タイプ検出の現在の方法は、反射分光学を使用する。この技法において、２つの反射波長（赤色及び近赤外－それらの２つの波長において、メラニンは、水及びヘモグロビンと比較して高い吸収係数を有する）間の比率は、メラニン指数を算出するために使用され、その後、肌タイプを算出するために使用される。これらの反射エネルギ信号は、温度、周囲光、及びＩＰＬデバイスの導波路の影響を受ける。さらに、その比率は、基準合成肌サンプルに対して較正され得る。この方法の他の代替例は、肌色を算出するために、肌領域のスマートフォンカメラの画像を使用することである。これも、肌の正反射率、照明条件のばらつき、画像センサの特性のばらつきのため、非常に困難である。さらに、画像測定は、色補正カードの使用を必要とする。

【0005】

したがって、例えばＩＰＬデバイスのエネルギレベルを設定する際に使用される、肌の肌タイプ及び／又はメラニン指数の決定における改善が望まれる。

【課題を解決するための手段】

【0006】

第１の態様によれば、対象者の肌を評価するための装置が提供される。本装置は、処理部を備え、処理部が、対象者の肌の画像を取得するイメージングユニットから対象者の肌の１つ又は複数の画像を受信するように構成され、処理部が、肌の色素ネットワークの構造の１つ又は複数の特性に基づいて対象者の肌の肌タイプ及び／又はメラニン指数を決定するように１つ又は複数の画像を処理し、決定された肌タイプ及び／又はメラニン指数を示す第１の信号を出力するように構成される。それによって、装置は、肌の画像から肌の肌タイプ及び／又はメラニン指数を決定できる。

【0007】

いくつかの実施形態において、肌の色素ネットワークの構造の１つ又は複数の特性が、構造におけるメラニンの存在と、構造におけるケラチノサイト及び／又はメラノサイト中のメラニンの存在と、肌の真皮上皮接合部に沿ったケラチノサイト及び／又はメラノサイト中のメラニンの存在と、肌の真皮乳頭の突縁及び／又は突起の存在とのうちのいずれかに関係する。

【0008】

いくつかの実施形態において、処理部が、１つ又は複数の画像から、肌のケラチノサイト及び／又はメラノサイト中のメラニンの存在及び／又は密度を決定するように構成される。これらの実施形態において、処理部が、メラニンの決定された存在及び／又は密度を、それぞれの肌タイプ及び／又はメラニン指数に対応するそれぞれの閾値と比較することによって、肌タイプ及び／又はメラニン指数を決定するように構成される。

【0009】

いくつかの実施形態において、処理部が、１つ又は複数の画像から、真皮乳頭の突縁及び／又は突起のパターンを決定するように構成される。これらの実施形態において、処理部が、突縁及び／又は突起の決定されたパターンを、それぞれの肌タイプ及び／又はメラニン指数に対応するそれぞれのパターンと比較することによって肌タイプ及び／又はメラニン指数を決定するように構成される。

【0010】

いくつかの実施形態において、処理部が、色素ネットワークの構造の１つ又は複数の特性に基づいて対象者の肌の肌タイプ及び／又はメラニン指数を決定するように１つ又は複数の画像を処理するために、学習済み機械学習モデルを使用するように構成される。学習済み機械学習モデルは、深層ニューラルネットワークなどの人工ニューラルネットワークであり得る。

【0011】

いくつかの実施形態において、決定された肌タイプが、普通肌、乾燥肌、油性肌、日焼けした肌、日焼けしていない肌、混合肌、及びフィッツパトリック尺度における肌タイプのうちのいずれかを含む。

【0012】

いくつかの実施形態において、決定されたメラニン指数は、メラニン度数を含む。

【0013】

いくつかの実施形態において、装置が、第１の信号を受信するように構成されたユーザインターフェースをさらに備え、第１の信号が、ユーザインターフェースに、決定された肌タイプ及び／又はメラニン指数を示すユーザへのフィードバックを出力させるように構成される。

【0014】

いくつかの実施形態において、第１の信号が、処置デバイスの制御部に出力され、制御部が、処置デバイスの１つ又は複数の動作設定を決定するために第１の信号を使用する。それによって、第１の信号に応答して処置デバイスによって自動的に動作設定が適用され得るため、処置デバイスによる処置動作のための設定が肌タイプ及び／又はメラニン指数に基づいて変更される場合に、それらの実施形態は有用である。

【0015】

いくつかの実施形態において、処理部が、受信された１つ又は複数の画像を色に関して正規化し、肌の肌タイプ及び／又はメラニン指数を決定するように１つ又は複数の正規化された画像を処理するように構成される。このようにして、肌の色が肌タイプ及び／又はメラニン指数の決定に影響せず、その代わりに、その決定は色素ネットワークの構造の特性に基づくことを確実にすることができる。

【0016】

第２の態様によれば、対象者の肌の画像を取得するように配置されたイメージングユニットと、第１の態様又はその実施形態による装置とを備えるシステムが提供される。

【0017】

いくつかの実施形態において、システムは、対象者の肌に対して処置動作を実行するための処置デバイスをさらに備える。

【0018】

いくつかの実施形態において、上記処置デバイスは、第１の信号を受信するように構成された制御部を備え、制御部は、第１の信号において示された肌タイプ及び／又はメラニン指数に基づいて、処置デバイスのための１つ又は複数の動作設定を決定するように構成される。

【0019】

これらの実施形態において、上記処置デバイスは、上記イメージングユニット及び／又は装置を備え得る。代替の実施形態において、処置デバイスは装置から分離され得る。

【0020】

いくつかの実施形態において、上記システムが、肌を照らすための１つ又は複数の光源をさらに備える。これらの光源は、画像が得られるときに肌を照らすために使用され得る。

【0021】

いくつかの実施形態において、光源が、可視スペクトラムに波長を有する光を発光するように構成され、発光された青色光は、他の色の光よりも高い輝度を有する。

【0022】

いくつかの実施形態において、システムが、１つ又は複数の光源によって発光された光を偏光するように配置された第１の偏光子をさらに備える。いくつかの実施形態において、システムが、肌からイメージングユニットに入射した光を偏光するように配置された第２の偏光子をさらに備える。偏光された光の使用及び／又はイメージングユニットに入射した光の偏光は、取得された画像において可視の肌の深さを改善し得る。

【0023】

第１の偏光子及び第２の偏光子を備える実施形態において、第１の偏光子及び第２の偏光子は、互いに対して、直交、又はほぼ直交して配置され得る。

【0024】

第３の態様によれば、対象者の肌を評価するためのコンピュータ実施方法であって、方法は、対象者の肌の画像を取得するイメージングユニットから対象者の肌の１つ又は複数の画像を受信するステップと、肌の色素ネットワークの構造の１つ又は複数の特性に基づいて対象者の肌の肌タイプ及び／又はメラニン指数を決定するように１つ又は複数の画像を処理するステップと、決定された肌タイプ及び／又はメラニン指数を示す第１の信号を出力するステップとを有する方法が提供される。それによって、方法は、肌の画像から肌の肌タイプ及び／又はメラニン指数を決定できる。

【0025】

いくつかの実施形態において、肌の色素ネットワークの構造の１つ又は複数の特性が、構造におけるメラニンの存在と、構造におけるケラチノサイト及び／又はメラノサイト中のメラニンの存在と、肌の真皮上皮接合部に沿ったケラチノサイト及び／又はメラノサイト中のメラニンの存在と、肌の真皮乳頭の突縁及び／又は突起の存在とのうちのいずれかに関係する。

【0026】

いくつかの実施形態において、処理するステップが、１つ又は複数の画像から、肌のケラチノサイト及び／又はメラノサイト中のメラニンの存在及び／又は密度を決定することを有する。これらの実施形態において、処理するステップが、メラニンの決定された存在及び／又は密度を、それぞれの肌タイプ及び／又はメラニン指数に対応するそれぞれの閾値と比較することによって、肌タイプ及び／又はメラニン指数を決定することを有する。

【0027】

いくつかの実施形態において、処理するステップが、１つ又は複数の画像から、真皮乳頭の突縁及び／又は突起のパターンを決定することを有する。これらの実施形態において、処理するステップが、突縁及び／又は突起の決定されたパターンを、それぞれの肌タイプ及び／又はメラニン指数に対応するそれぞれのパターンと比較することによって肌タイプ及び／又はメラニン指数を決定することを有する。

【0028】

いくつかの実施形態において、処理するステップが、色素ネットワークの構造の１つ又は複数の特性に基づいて対象者の肌の肌タイプ及び／又はメラニン指数を決定するように１つ又は複数の画像を処理するために、学習済み機械学習モデルを使用することを有する。学習済み機械学習モデルは、深層ニューラルネットワークなどの人工ニューラルネットワークであり得る。

【0029】

いくつかの実施形態において、決定された肌タイプが、普通肌、乾燥肌、油性肌、日焼けした肌、日焼けしていない肌、混合肌、及びフィッツパトリック尺度における肌タイプのうちのいずれかを含む。

【0030】

いくつかの実施形態において、決定されたメラニン指数は、メラニン度数を含む。

【0031】

いくつかの実施形態において、出力するステップが、第１の信号をユーザインターフェースに出力することを有し、上記方法が、ユーザインターフェースによって、決定された肌タイプ及び／又はメラニン指数を示すユーザへのフィードバックを出力することをさらに有する。

【0032】

いくつかの実施形態において、出力するステップが、第１の信号を処置デバイスの制御部に出力することを有し、上記方法が、制御部によって、処置デバイスの１つ又は複数の動作設定を決定するために第１の信号を使用することをさらに有する。それによって、第１の信号に応答して処置デバイスによって自動的に動作設定が適用され得るため、処置デバイスによる処置動作のための設定が肌タイプ及び／又はメラニン指数に基づいて変更される場合に、それらの実施形態は有用である。

【0033】

いくつかの実施形態において、上記方法が、受信された１つ又は複数の画像を色に関して正規化し、肌の肌タイプ及び／又はメラニン指数を決定するように１つ又は複数の正規化された画像を処理するステップをさらに有する。このようにして、肌の色が肌タイプ及び／又はメラニン指数の決定に影響せず、その代わりに、その決定は色素ネットワークの構造の特性に基づくことを確実にすることができる。

【0034】

いくつかの実施形態において、上記方法が、イメージングユニットを使用して１つ又は複数の画像を取得するステップをさらに有する。これらの実施形態において、方法は、１つ又は複数の画像を得るときに１つ又は複数の光源を使用して肌を照らすステップをさらに有する。

【0035】

いくつかの実施形態において、照らすステップは、光源が可視スペクトラムに波長を有する光を発光し、他の色の光よりも高い輝度の青色光を発光することを有する。

【0036】

いくつかの実施形態において、上記方法が、１つ又は複数の光源によって発光された光を偏光するステップをさらに有する。いくつかの実施形態において、方法が、肌からイメージングユニットに入射した光を偏光するステップをさらに有する。偏光された光の使用及び／又はイメージングユニットに入射した光の偏光は、取得された画像において可視の肌の深さを改善し得る。

【0037】

第４の態様によれば、本発明による、対象者の肌を評価するための装置で使用される機械学習モデル、ＭＬＭを訓練するための装置が提供される。ＭＬＭを訓練するための装置は、１人又は複数の検査対象者のために、肌の複数の画像を取得し、各画像は、肌タイプ及び／又はメラニン指数の標示を用いて注釈が付けられ、肌の色素ネットワークの構造の１つ又は複数の特性に基づいて異なる肌タイプ及び／又はメラニン指数の画像間を区別するために複数の画像を使用してＭＬＭを訓練するように構成された処理部を備える。

【0038】

いくつかの実施形態において、処理部が、複数の画像を色に関して正規化し、複数の正規化された画像を使用してＭＬＭを訓練するようにさらに構成される。

【0039】

第５の態様によれば、機械学習モデル、ＭＬＭを使用するための装置であって、装置が対象者の肌の画像を取得するイメージングユニットから肌の領域の１つ又は複数の画像を受信する処理部を備え、処理部が、肌の色素ネットワークの構造の１つ又は複数の特性に基づいて対象者の肌の肌タイプ及び／又はメラニン指数を決定するために１つ又は複数の画像を分析するために、第４の態様又はそのいずれかの実施形態にしたがって訓練されたＭＬＭを使用し、決定された肌タイプ及び／又はメラニン指数を示す第１の信号を出力するように構成される装置が提供される。

【0040】

第６の態様によれば、本発明による、対象者の肌を評価するための装置で使用される機械学習モデル、ＭＬＭを訓練する方法が提供される。この方法は、１人又は複数の検査対象者の肌の複数の画像を取得するステップを有し、各画像は、肌タイプ及び／又はメラニン指数の標示を用いて注釈が付けられ、方法が、肌の色素ネットワークの構造の１つ又は複数の特性に基づいて異なる肌タイプ及び／又はメラニン指数の画像間を区別するために複数の画像を使用してＭＬＭを訓練するステップを有する。

【0041】

いくつかの実施形態において、方法が、複数の画像を色に関して正規化し、複数の正規化された画像を使用してＭＬＭを訓練するステップをさらに有する。

【0042】

第７の態様によれば、機械学習モデル、ＭＬＭを使用する方法であって、方法が、対象者の肌の画像を取得するイメージングユニットから肌の領域の１つ又は複数の画像を受信するステップを有し、上記方法が、肌の色素ネットワークの構造の１つ又は複数の特性に基づいて対象者の肌の肌タイプ及び／又はメラニン指数を決定するために１つ又は複数の画像を分析するために、第６の態様又はそのいずれかの実施形態にしたがって訓練されたＭＬＭを使用するステップと、決定された肌タイプ及び／又はメラニン指数を示す第１の信号を出力するステップとを有する方法が提供される。

【0043】

第８の態様によれば、具現化されたコンピュータ可読コードを有するコンピュータ可読媒体を備えるコンピュータプログラムであって、前記コンピュータ可読コードは、適切な装置、コンピュータ又は処理部によって実行されると、前記装置、コンピュータ又は処理部に、前記第３の態様、前記第６の態様、若しくは前記第７の態様、又はそのいずれかの実施形態による方法を実行させるように構成される、コンピュータプログラムが提供される。

【0044】

上記及び他の態様は、以下に記載の実施形態から明らかであり、これらを参照して説明される。

【0045】

以下の図面を参照して、例示目的のみのために、例示の実施形態を説明する。

【図面の簡単な説明】

【0046】

【図1】本発明が使用可能な例示の処置デバイスの図である。

【図2】様々な実施形態による、イメージングユニット及び装置を備えた例示のシステムのブロック図である。

【図3】肌を照射する光源のための例示の光スペクトラムを示すプロットである。

【図4】異なる肌タイプの６つの画像を示す図である。

【図5】肌における色素ネットワークを示す図である。

【図6】肌を評価するための例示の方法を示すフローチャートである。

【図7】異なる肌タイプの４つの画像を示す図である。

【図8】色の正規化後の異なる肌タイプの４つの画像を示す図である。

【図9】異なる肌タイプに対する推論結果を示すプロットである。

【図10】肌を評価する際に使用される機械学習モデルを訓練する方法を示すフローチャートである。

【図11】トレーニングフォールドに対する推論結果を示すプロットである。

【図12】他のトレーニングフォールドに対する推論結果を示すプロットである。

【図13】他のトレーニングフォールドに対する推論結果を示すプロットである。

【発明を実施するための形態】

【0047】

上述したように、本明細書で説明された技法は、肌の肌タイプ及び／又はメラニン指数を決定するために画像に示された肌を評価するために使用され得る。本技法は、決定された肌タイプ及び／又はメラニン指数を利用する処置デバイスによって実施されることが可能であり（例えば本技法は、処置デバイスにおける処理部によって実施され得る）、又は分離した装置における処理部によって実施されることが可能である。以下で説明するように、肌タイプ及び／又はメラニン指数が使用され得る例示の種類の処置デバイスは、毛髪の除去及び／又は毛髪成長の低減のために光パルスを使用する処置デバイスである。決定された肌タイプ及び／又はメラニン指数は処置デバイスによって使用される必要はなく、処置デバイスと関連した目的のために使用される必要はないことを理解されるであろう。例えば肌タイプ及び／又はメラニン指数は、肌製品（例えばメークアップ製品又はコンシーラー）の推薦及び／又は色素異常の評価のために使用され得る。

【0048】

イメージングユニット（例えばカメラ）は、対象者の肌のある領域の１つ又は複数の画像を取得するために使用される。イメージングユニットは、処置デバイスの一部（該当する場合）、又は個別の装置の一部、又は、処置デバイスと、本明細書で説明する技法を実施する装置との両方から分離している。例えば、イメージングユニットは、スマートフォンなどのデバイス上のカメラでもよく、又はそれを備えてもよい。

【0049】

肌タイプ及び／又はメラニン指数が肌の構造に関係することがわかっており、この構造は、肌の画像で見られる。特に、肌における色素ネットワークの構造の１つ又は複数の特性（色素ネットワークの密度など）は、肌タイプ及び／又はメラニン指数に関係している。暗い色の肌タイプの場合、色素ネットワークは、通常、良好に接続され（すなわち、密に接続され）、高密度のハニカム構造である一方、淡い色の肌タイプの場合、色素ネットワークは途切れ途切れで、より疎であり（すなわち低密度）、場合によっては色素が知覚できない。したがって、本明細書で説明される技法によれば、肌の色素ネットワークの構造の１つ又は複数の特性に基づいて対象者の肌の肌タイプ及び／又はメラニン指数を決定するために、肌の１つ又は複数の画像が分析される。

【0050】

図１は、肌の領域に対して光パルスを印加するために使用可能な例示の処置デバイス２の図である。図１の処置デバイス２は、本発明がともに使用されることが可能なハンドヘルド処置デバイス２の例として提示されているのに過ぎず、処置デバイス２は、図１に示された形態又はハンドヘルド処置デバイスに限定されないことが理解されるであろう。上述したように、本発明は、同様に、処置デバイス２において実施されること、又は処置デバイス２を用いて実施されることに限定されない。

【0051】

図１の処置デバイス２は、対象者（例えば、人又は動物）の身体上での使用のためのものであり、使用中はユーザの片手又は両手で保持される。処置デバイス２が対象者の身体部位に接触している状態で、処置デバイス２は対象者の身体における毛髪に対して、１つ又は複数の光パルスを使用して何らかの処置動作を実行する。処置動作は、レーザ及び／又は光治療（光脱毛処置又はインテンスパルスライト（ＩＰＬ）処置として知られる）による不要な毛髪の除去であり得る。

【0052】

本明細書で記載される場合、処置デバイス２は、「ユーザ」によって動作又は使用され、処置デバイス２は「対象者」の身体上で使用される。いくつかの場合では、ユーザ及び対象者は同一の人であり、すなわち、処置デバイス２はユーザによって手で保持されてユーザ自身に対して使用される（例えば、自分の脚の肌に対して使用される）。他の場合では、ユーザ及び対象者は異なる人であり、例えば処置デバイス２はユーザによって手で保持され、他の人に対して使用される。いずれの場合でも、光パルス印加後の短時間は肌又は毛髪の変化がユーザにとってあまり知覚可能でない、又は全く知覚可能でないため、ユーザが身体部位の完全な網羅を実現すること、及び／又は身体部位の特定の領域を過度に処置することを回避することが困難である。

【0053】

例示の処置デバイス２は、少なくともハンドル部５とヘッド部６とを含む筐体４を備える。ハンドル部５は、ユーザが片手で処置デバイス２を保持できるようにする形状を有する。ヘッド部６は、筐体４のヘッド端部８に存在し、ヘッド部６が身体又は肌と接触している位置において対象者の身体又は肌に対してパーソナルケア動作が実行されるように、ヘッド部６は対象者と接触するように配置される。

【0054】

処置デバイス２は、エネルギ又はエネルギパルス（例えば光又は光パルス）を使用して処置動作を実行するためのものである。そのため、図１では、ヘッド部６は、筐体４中又は筐体４上に配置されたアパーチャ１０を備え、アパーチャ１０は対象者の肌と隣り合って、又は肌上に（すなわち肌と接触して）配置され得る。処置デバイス２は、アパーチャ１０を介して対象者の肌に印加されて処置動作を実現する光パルスを生成するための１つ又は複数の光源１２を備える。１つ又は複数の光源１２は筐体４に配置され、それによって光パルスが１つ又は複数の光源１２からアパーチャ１０を介して供給される。アパーチャ１０は、筐体４のヘッド端部８における開口部の形状を有し、又は光パルスにとって透過又は半透過であるウィンドウ（導波管を含む）の形状を有する（すなわち、光パルスはウィンドウを通過できる）。

【0055】

図１に示す例示の実施形態では、アパーチャ１０は全体として矩形を有し、その結果として、肌上に全体的に矩形の肌処置領域が得られる。なお、アパーチャ１０はいずれかの他の所望の形状を有し得ることが理解されるであろう。例えば、アパーチャ１０は、正方形、楕円形、円形、又はいずれかの他の多角形であることが可能である。

【0056】

１つ又は複数の光源１２は、いずれかの適切又は所望の波長（又は波長範囲）及び／又は強度で光パルスを生成可能である。例えば、光源１２は、可視光、赤外線（ＩＲ）光及び／又は紫外線（ＵＶ）光を生成可能である。各光源１２は、１つ又は複数の発光ダイオード（ＬＥＤ）、（キセノン）フラッシュランプ、レーザなどのいずれかの適切な種類の光源を備えることが可能である。光源１２は、およそ２．５ミリ秒（ｍｓ）の区間のための５６０から１２００ナノメートル（ｎｍ）範囲のスペクトル成分を有する光パルスを供給できる。これは、それらの波長が吸収によって毛髪及び毛根のメラミンを加熱し、毛嚢を静止期に移行させ、毛髪の再成長を防ぐためである。

【0057】

１つ又は複数の光源１２は、光のパルスを供給するように構成される。すなわち、光源１２は、短時間（例えば１秒未満）で高強度の光を生成するように構成される。光パルスの強度は、アパーチャ１０と隣り合った肌又は身体部位上に処置動作を実現する程度に十分高い必要がある。

【0058】

図示する処置デバイス２は、ヘッド部６が肌と接触しているかを判断するために使用されるヘッド部６上又はヘッド部６中に配置された２つの肌接触センサ１４、１６をさらに備える。肌接触センサ１４、１６は、ヘッド部６が肌と接触しているかを示すパラメータを測定し、パラメータの測定結果の時系列を含むそれぞれの測定信号を生成する。この測定信号は、ヘッド部６が肌と接触しているかを判断するために処理されることが可能である。通常、肌接触センサは、光パルスがユーザ又は対象者の目に向かうことを避けるために、光パルスが生成される前に処置デバイス２が肌に正しく接触していることを確実にするように、処置デバイス２、特に光脱毛器中で使用される。

【0059】

いくつかの実施形態では、パラメータは容量でもよく、したがって肌接触センサ１４、１６はヘッド部６の表面上の電気接点又は電極のそれぞれの対を介して容量を測定でき、測定された容量は、肌接触があるかを示す。代替の実施形態では、パラメータは光強度又は光量でもよく、したがって肌接触センサ１４、１６は、光センサに入射した光の強度又は量を測定する光センサでもよく、測定された強度又は量は、肌接触があるかを示す（例えばわずかな光、又は光が全くない状態は、肌が光センサ１４、１６を覆ったときの肌接触を示す場合があり、またその逆もあり得る）。他の代替の実施形態では、パラメータは肌圧力の測定値でもよく、したがって肌接触センサ１４、１６は、それぞれの圧力センサ又は機械的スイッチを介して肌圧力を測定でき、測定された肌圧力は、肌接触があるかを示す。

【0060】

図示する処置デバイス２は、処置デバイス２をアクティブ化するためにユーザによって動作可能なユーザコントロール２０をさらに備え、それによってヘッド部６は対象者の身体に対して要求される処置動作を実行する（例えば、１つ又は複数の光源１２による光パルスの生成）。ユーザコントロール２０は、スイッチ、ボタン、タッチパッドなどの形状を有する。

【0061】

図２は、対象者の肌を評価するための装置４２と、イメージングユニット４４とを備える例示のシステム４０のブロック図である。いくつかの実施例では、処置デバイス２は図２に示されていないが、処置デバイス２はシステム４０の一部と考えられ得る。上述したように、装置４２は処置デバイス２とは分離したデバイスであることが可能であり、したがって装置４２はスマートフォン、スマートウォッチ、タブレット、パーソナルデジタルアシスタント（ＰＤＡ）、ラップトップ、デスクトップコンピュータ、リモートサーバ、スマートミラーなどの電子デバイスの形態を有する。他の実施形態では、装置４２、特に装置４２によって提供される、本発明による機能性は処置デバイス２の一部である。

【0062】

イメージングユニット４４は対象者の肌の１箇所又は複数箇所の領域の１つ又は複数の画像（又はビデオシーケンス）を生成するために提供される。イメージングユニット４４は、例えば電荷結合素子（ＣＣＤ）及び１つ又は複数のレンズ及び／又はミラーなどの、画像をキャプチャするためのいずれかの適切なコンポーネントを含む。いくつかの実施形態では、イメージングユニット４４は、デジタルカメラなどのカメラである。いくつかの実施形態において、イメージングユニット４４は、肌の顕微鏡画像を提供するように設定されたカメラである（すなわち、イメージングユニット４４は、肌の画像における拡大又はズームを実現する）。いくつかの実施形態において、１つ又は複数の追加の光学部品が、イメージングユニット４４と関連付けられ、又はイメージングユニット４４の一部と関連付けられる。例えば、イメージングユニット４４に入射する光を偏光するために、イメージングユニット４４の前に配置された偏光子が提供され得る。偏光子の使用は、画像において可視の肌領域の深さを改善し得る（すなわち、偏光子は、光が肌における異なる透過深さで観察されることを可能にする）。いくつかの実施形態において、画像が取得されているときに、イメージング対象の肌領域を照らすために、１つ又は複数の光源が提供され得る。これらの光源は、処置動作を実行するために使用される処置デバイス２の光源１２とは分離している。これらの実施形態において、肌を照らす前に光源によって発光された光を偏光するために、偏光子が提供され得る。画像を取得する目的で肌を照らすための光源は、例えば１つ又は複数のＬＥＤなどの適切な光源であり得る。

【0063】

特定の実施形態において、光が肌を照らす前に１つ又は複数の光源によって発光された光を偏光する第１の偏光子が提供されることが可能であり、肌からイメージングユニット４４に入射した光を偏光する第２の偏光子が提供されることが可能である。第１の偏光子及び第２の偏光子は、「交差」するように配置されることが可能であり、すなわち、第１の偏光子及び第２の偏光子は、それぞれの偏光方向が直交となるように（すなわち互いに対して９０°）、又は互いに対してほぼ直交（すなわち、互いに対しておよそ９０°）であるように配置される。交差した偏光子の使用は、画像における肌領域の深さを改善することが可能であり、それによって肌の構造が観察可能となる。

【0064】

イメージングユニット４４は、図２において装置４２から分離しているとして示されているが、他の実施形態では、イメージングユニット４４が装置４２と一体化し得る、又は装置４２の一部であり得ることが理解されるであろう。イメージングユニット４４が装置４２から分離されている実施形態では、イメージングユニット４４は処置デバイス２の一部でもよく、又は処置デバイス２からも分離されていてもよい。イメージングユニット４４が処置デバイス２の一部である実施形態では、イメージングユニット４４はアパーチャ１０の近くに処置デバイス２に配置されることが可能であり、それによって処置デバイス２が肌上にあるとき、又は肌に近いときに画像が取得可能である。

【0065】

イメージング対象の肌領域を照らすために１つ又は複数の光源が提供される例示の実施形態において、１つ又は複数の光源は、特定の波長又は特定の波長範囲において光を発光可能である。選択された光スペクトラムは、結果として得られた画像において色素ネットワークなどの肌の構造が特定及び／又は分析されることを可能とする。図３は、画像取得時に肌を照らす光源の例示の光照射スペクトラムを示すプロットである。それによって、光源が、４００ナノメートル（ｎｍ）から７６０ｎｍの範囲に波長を有する光（すなわち可視光）を発光でき、発光された光の最も高い輝度は、およそ４５０ｎｍ（すなわち青色光）であることがわかる。５００ｎｍから７００ｎｍの範囲の光（すなわち緑－赤色光）が発光されるが、青色光よりも（大幅に）低い輝度を有する。図３の例において、発光された光の輝度は、赤系統の色域に向かって顕著に減少する。上述した交差偏光器とともに、図３の光照射スペクトラム（又は類似のスペクトラム）を有する光源は、メラニン／色素ネットワークが配置された肌の深さから画像が取得できるようにする。これらの画像は、鏡面反射成分、又は血管の存在によって引き起こされるより深い肌領域からの赤色成分を含まない。

【0066】

装置４２は、装置４２の動作を全体的に制御して装置４２が本明細書で説明される方法及び技法を実行できるようにする処理部４６を備える。簡単に述べると、処理部４６は、イメージングユニット４４から１つ又は複数の画像を受信し、それらの画像に示されるような肌の色素ネットワークの構造の１つ又は複数の特性に基づいて対象者の肌の肌タイプ及び／又はメラニン指数を決定するように画像を処理し、決定された肌タイプ及び／又はメラニン指数を示す第１の信号を出力する。

【0067】

それによって、処理部４６は、イメージングユニット４４が装置４２の一部である実施形態では直接、又はイメージングユニット４４が装置４２から分離されている実施形態では他のコンポーネントを介して、のいずれかでイメージングユニット４４から画像を受け取るように構成されることが可能である。いずれの場合でも、処理部４６は、イメージングユニット４４又は必要に応じて他のコンポーネントから画像（又はその画像を表す情報を保持する信号）を受信するための１つ又は複数の入力ポート又は配線を含む、又は備えることが可能である。処理部４６は、肌の領域の毛髪が光パルスで処置されたかを示す信号を出力するための１つ又は複数の出力ポート又は配線をさらに含む、又は備えることが可能である。

【0068】

処理部４６は、本明細書で説明される様々な機能を実行するために、ソフトウェア及び／又はハードウェアにより多くの手法で実施されることが可能である。処理部４６は、要求される機能を実行するために、及び／又は要求される機能を実現するように処理部４６の構成要素を制御するために、ソフトウェア又はコンピュータプログラムコードを使用してプログラムされる１つ又は複数のマイクロプロセッサ又はデジタル信号プロセッサ（ＤＳＰ）を備える。処理部４６は、ある機能を実行する専用ハードウェア（例えば増幅器、前置増幅器、アナログデジタル変換器（ＡＤＣ）及び／又はデジタルアナログ変換器（ＤＡＣ））と、他の機能を実行するプロセッサ（例えば１つ又は複数のプログラムされたマイクロプロセッサ、コントローラ、ＤＳＰ、及び関連回路）との組み合わせとして実施される。本開示の様々な実施形態で用いられるコンポーネントの例は、従来のマイクロプロセッサ、ＤＳＰ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ニューラルネットワークを実施するためのハードウェア、及び／又はいわゆる人工知能（ＡＩ）ハードウェアアクセラレータ（すなわち、主プロセッサとともに使用可能なＡＩアプリケーション専用に設計されたプロセッサ又は他のハードウェア）を含むが、これに限定されない。

【0069】

処理部４６は、メモリ部４８を備えることができ、又はそれと関連付けられることが可能である。メモリ部４８は、装置４２の動作を制御する際、及び／又は本明細書に記載の方法を実施又は実行する際に、処理部４６によって使用されるデータ、情報、及び／又は信号（画像を含む）を格納可能である。いくつかの実施例において、メモリ部４８は、処理部４６によって実行可能なコンピュータ可読コードを格納し、それによって処理部４６は本明細書に記載される方法を含む１つ又は複数の機能を実行する。特定の実施形態において、プログラムコードは、スマートフォン、タブレット、ラップトップ、コンピュータ、又はサーバのためのアプリケーションの形態を有することが可能である。メモリ部４８は、ランダムアクセスメモリ（ＲＡＭ）、静的ＲＡＭ（ＳＲＡＭ）、動的ＲＡＭ（ＤＲＡＭ）、読出し専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、及び電気消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）などの揮発性及び不揮発性コンピュータメモリを含むキャッシュ又はシステムメモリなどのいずれかの種類の非一時的機械可読媒体を備えることが可能であり、メモリ部は、メモリチップ、光学ディスク（コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）又はブルーレイディスクなど）、ハードディスク、テープストレージソリューション、又はメモリスティック、ソリッドステートドライブ（ＳＳＤ）、メモリカードなどを含むソリッドステートデバイスの形態で実施されることが可能である。

【0070】

図２に示す実施形態では、装置４２がイメージングユニット４４から分離しているとして示されているため、装置４２は、装置４２がイメージングユニット４４から画像を受信できるようにするインターフェース回路５０をさらに含む。装置４２のインターフェース回路５０は、イメージングユニット４４、処置デバイス２、サーバ、データベース、ユーザデバイス、及びセンサのうちのいずれかの１つ又は複数を含む他のデバイスとのデータ接続及び／又はデータ交換を可能とする。イメージングユニット４４（又は処置デバイス２などの電子デバイス）への接続は、直接的又は間接的（例えばインターネットを介する）でもよく、それによってインターフェース回路５０は、所望の有線又は無線通信プロトコルによる、装置４２とネットワークとの間での接続、又は装置４２と他のデバイス（イメージングユニット４４及び／又は処置デバイス２など）との間での直接接続を実現できる。例えば、インターフェース回路５０は、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、Ｚｉｇｂｅｅ、又はいずれかのセルラ通信プロトコル（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＧＳＭ）、ユニバーサルモバイルテレコミュニケーションシステム（ＵＭＴＳ）、ロングタームエボリューション（ＬＴＥ）、ＬＴＥ－Ａｄｖａｎｃｅｄなどを含むがこれに限定されない）を使用して動作可能である。無線接続の場合、インターフェース回路５０（したがって装置４２）は、伝達媒体（例えば空気）を介して送受信するための１つ又は複数の適切なアンテナを含む。若しくは、無線接続の場合、インターフェース回路５０は、インターフェース回路５０を、伝達媒体（例えば空気）を介して送受信するための装置４２の外部の１つ又は複数の適切なアンテナに接続可能とする手段（例えばコネクタ又はプラグ）を含む。インターフェース回路５０は、処理部４６に接続される。

【0071】

図２には不図示であるが、装置４２は、装置４２のユーザが装置４２に対して情報、データ、及び／又はコマンドを入力できるようにし、及び／又は装置４２が装置４２のユーザに対して情報又はデータを出力できるようにする１つ又は複数のコンポーネントを含む１つ又は複数のユーザインターフェースコンポーネントを備えてもよい。ユーザインターフェースは、キーボード、キーパッド、１つ又は複数のボタン、スイッチ又はダイヤル、マウス、トラックパッド、タッチスクリーン、スタイラス、カメラ、マイクなどを含むがこれに限定されないいずれかの適切な入力コンポーネントを備えることが可能であり、ユーザインターフェースは、ディスプレイユニット又はディスプレイ画面、１つ又は複数の照明又は光素子、１つ又は複数のスピーカー、振動子などを含むがこれに限定されないいずれかの適切な出力コンポーネントを備えることが可能である。

【0072】

装置４２の実践上の実施は、図２に示すものに対する追加構成要素を含むことが理解されるであろう。例えば、装置４２は、電池などの電源、又は装置４２を主電源に接続可能とする構成要素をさらに含む。

【0073】

図４は、異なる肌タイプの６つの例示の画像を示す図である。これらの画像は、肌が図３に示すスペクトラムにしたがって光を照射され、さらに交差偏光子とともに、イメージングユニット４４を使用して取得されたものである。画像のそれぞれは、上記で概要を述べた６つの異なる肌タイプ（すなわち、肌タイプ１～６、すなわち、それぞれ「白」、「ベージュ」、「淡褐色」、「中程度の褐色」、「暗褐色」、及び「褐色がかった黒及びそれより暗い色」）のうちの１つを示す。

【0074】

肌の構造の汎用的な説明が「Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ ｏｆ ｔｅｒｍｉｎｏｌｏｇｙ ｉｎ ｄｅｒｍｏｓｃｏｐｙ／ｄｅｒｍａｔｏｓｃｏｐｙ：Ｒｅｓｕｌｔｓ ｏｆ ｔｈｅ ｔｈｉｒｄ ｃｏｎｓｅｎｓｕｓ ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｏｆ Ｄｅｒｍｏｓｃｏｐｙ」、Ｋｉｔｔｌｅｒ等に記載されており、正常な色素ネットワークの図が図５に示される。図５は、ｈｔｔｐｓ：／／ｄｅｒｍｏｓｃｏｐｅｄｉａ．ｏｒｇ／ｐｉｇｍｅｎｔ＿ｎｅｔｗｏｒｋに記載されている。

【0075】

色素ネットワーク６０は、ハニカムパターン６４を形成する、交差している着色された「線」６２の格子からなる。色素ネットワーク６０の解剖学的基礎は、真皮上皮接合部（表皮６６及び真皮６８）に沿ったケラチノサイト及び／又はメラノサイト中のメラニンであり、水平面で見たときに表皮６６の乳頭間隆起パターンがどのように現れるかを表す。色素ネットワーク６０の着色が少ない「孔」７０は、表皮６６の真皮乳頭と覆っている乳頭上部の表皮との先端に対応する。真皮乳頭の広い直径は、皮膚顕微鏡的に、ネットワークのより広い「孔」７０に対応する一方、狭い真皮乳頭は、結果として格子のより密な「篩」となる。色素ネットワーク６０は、乳頭間隆起パターンがより少ないメラニン色素を含む場合に可視でない場合がある。図４の６つの顕微鏡画像に示されたパターンは、見下ろしたときの乳頭間隆起に沿ったメラニン分布に対応する。

【0076】

したがって、肌における色素ネットワークの構造の１つ又は複数の特性（色素ネットワークの密度など）は、肌の画像から観察又は決定でき、特性は、肌タイプ及び／又はメラニン指数に関係する。暗い色の肌タイプ（例えば肌タイプ５.０又は６.０）の場合、色素ネットワークは、通常、うまくつながった（例えば、密に接続されている）、高密度のハニカム構造である一方、淡い色の肌タイプ（例えば肌タイプ１.０及び２.０）の場合、色素ネットワークの構造は途切れ途切れで、より疎であり、場合によっては色素が知覚できない。肌構造は、「Ａｄｖａｎｃｅｓ ｉｎ Ｄｅｒｍｏｓｃｏｐｙ ｏｆ Ｐｉｇｍｅｎｔｅｄ Ｌｅｓｉｏｎｓ」、Ｐ．Ｋｕｍａｒａｓｉｎｇｈｅ著、Ｐｉｇｍｅｎｔａｒｙ Ｓｋｉｎ Ｄｉｓｏｒｄｅｒｓ、７９－９２頁にも全体的に説明されている。

【0077】

図６のフローチャートは、対象者の肌を評価するための、本明細書において説明される例示の方法を示す。方法のステップのうちの１つ又は複数は、必要に応じて、装置４２のメモリ部４８及びインターフェース回路５０、及び／又はイメージングユニット４４のいずれかとともに、装置４２の処理部４６によって実行され得る。処理部４６は、例えば、メモリ部４８などのコンピュータ可読媒体上に格納され得るコンピュータプログラムコードの実行に応答して１つ又は複数のステップを実行する。

【0078】

ステップ１０１において、肌の領域の１つ又は複数の画像が受信される。この画像は、画像がイメージングユニット４４によって生成されると、例えばリアルタイム又はほぼリアルタイムでイメージングユニット４４から直接受信可能である。若しくは、この画像はイメージングユニット４４によって事前に生成されて、後続の解析のために、例えばメモリ部４８、処置デバイス２又はイメージングユニット４４と関連付けられたメモリ部、又はリモートのデータベースに格納され、その場合、ステップ１０１は、処理部４６が格納場所（例えば、メモリ部４８など）から画像を取得又は取り出すことを含み得る。ステップ１０１で受信された画像は、特定の対象者に関係する。複数の画像が受信された場合、それらは肌の同一領域の複数の画像を含む。複数の画像は、さらに、又は代替として、対象者の身体の異なる部分の肌の画像を含む。

【0079】

図７は、ステップ１０１で受信又は取得され得る４つの異なる肌タイプの画像を示す図である。そのような異なる画像は、ステップ１０１の１回の実行で単一の対象者から取得されるものではなく、むしろ、図７は、ステップ１０１で取得され得る画像に示され得る異なる肌タイプを示すに過ぎないことが理解されるであろう。図７の４つの画像が浮動小数点式連続分類（フィッツパトリック肌タイプと類似）にしたがってラベル付けされているが、この分類は、本方法の現段階では判明していないことが理解されるであろう。

【0080】

ステップ１０３で、１つ又は複数の画像は、肌の色素ネットワークの構造の１つ又は複数の特性（例えば密度）に基づいてその画像における肌の肌タイプ及び／又はメラニン指数を決定するように処理される。

【0081】

ステップ１０３は、普通肌、乾燥肌、油性肌、日焼けした肌、日焼けしていない肌、混合肌（すなわち、前述の肌タイプの混合）のいずれかとしての肌タイプ、及びフィッツパトリック尺度における肌タイプを決定することを含み得る。さらに、又は代替として、ステップ１０３は、メラニン度のスコア（例えば０～１０００の範囲のスコア、又は類するもの）としてメラニン指数を決定することを有し得る。

【0082】

いくつかの実施形態において、ステップ１０３は、肌の色素ネットワークの構造におけるケラチノサイト及び／又はメラノサイト中のメラニンの存在に関係する肌の色素ネットワークの構造の１つ又は複数の特性に基づいて肌タイプ及び／又はメラニン指数を決定することを含み得る。いくつかの実施形態において、肌タイプ及び／又はメラニン指数は、肌の真皮上皮接合部に沿ったケラチノサイト及び／又はメラノサイト中のメラニンの存在に基づき得る。特に、ステップ１０３は、肌のケラチノサイト及び／又はメラノサイト中のメラニンの存在及び／又は密度を決定することを有し得る。いくつかの実施形態において、肌タイプ及び／又はメラニン指数は、メラニンの決定された存在及び／又は密度を、それぞれの肌タイプ及び／又はメラニン指数に対応するそれぞれの閾値と比較することによって決定され得る。

【0083】

さらに、又は代替として、ステップ１０３は、肌の真皮乳頭の突縁及び／又は突起の存在に関係する肌の色素ネットワークの構造の１つ又は複数の特性に基づいて肌タイプ及び／又はメラニン指数を決定することを含み得る。特に、ステップ１０３は、１つ又は複数の画像から真皮乳頭の突縁及び／又は突起のパターンを決定し、突縁及び／又は突起の決定されたパターンを、それぞれの肌タイプ及び／又はメラニン指数に対応するそれぞれのパターンと比較することによって肌タイプ及び／又はメラニン指数を決定することを含み得る。

【0084】

ステップ１０３のいくつかの好適な実施形態において、肌の肌タイプ及び／又はメラニン指数を決定するために１つ又は複数の画像を処理するために学習済み機械学習モデル（ＭＬＭ）が使用される。ＭＬＭは、色素ネットワークの構造の１つ又は複数の特性（例えば、密度）に基づいて肌の肌タイプ及び／又はメラニン指数を決定するために訓練される。ＭＬＭは、例えば、サポートベクターマシン、決定木、ランダムフォレストなどを用いた特徴抽出などの従来の機械学習モデル、又は入力層と出力層との間に複数の層を有し入力層と出力層との間の線形又は非線形関係を特定する、ニューラルネットワークなどの人工ニューラルネットワークなど、いずれかの適切な種類のＭＬＭであり得る。ＭＬＭは、肌タイプ及び／又はメラニン指数を決定するために、ある肌領域の各画像又は各画像セットに対する評価を行う。いくつかの実施形態において、ＭＬＭは、画像を直接受信し、肌タイプ及び／又はメラニン指数を決定するために、画像の全ての必要な分析及び処理を実行する（例えば、色素ネットワークの構造の特性を判断する）。これは、特に深層ニューラルネットワークなどの人工ニューラルネットワークであるＭＬＭの場合である。他の実施形態において、例えば従来のＭＬＭの使用の場合、画像は、例えば、色素ネットワークの構造の特性の値を決定するために、ＭＬＭに提供される前に処理されることが可能であり、（任意で、画像に加えて）それらの値は、肌タイプ及び／又はメラニン指数を決定するために、分析のためにＭＬＭに提供され得る。いくつかの実施形態において、複数の個別の学習済みＭＬＭ（同種又は異種）が、肌タイプ及びメラニン指数をそれぞれ決定するために提供され得る。

【0085】

いくつかの実施形態において、ステップ１０３の前に、又はステップ１０３における初期動作として、受信された１つ又は複数の画像が色に関して正規化されることが可能で（すなわち、色情報が画像から取り除かれて、グレースケールの画像が残る）、色正規化された画像が、肌の肌タイプ及び／又はメラニン指数を決定するように処理され得る。色に関する画像の正規化は、決定プロセスから色を取り除くもので、これは肌タイプ及び／又はメラニン指数に関する決定が色素ネットワークの構造の特性に基づき得ることを意味する。図８は、色に関して正規化された４つの異なる肌タイプの画像を示す図である。なお、これらの画像は、図７の画像とは異なる対象者の異なる肌領域のものであることに留意されたい。そのような異なる画像は、ステップ１０１の１回の実行で単一の対象者から取得されるものではなく、むしろ、図８は色正規化された画像に示され得る肌タイプを示すに過ぎないことが理解されるであろう。図７を参照すると、図８の４つの画像が浮動小数点式連続分類（フィッツパトリック肌タイプと類似）にしたがってラベル付けされているが、分類は、ステップ１０３が完了するまで判明しないことが理解されるであろう。

【0086】

肌タイプ及び／又はメラニン指数がステップ１０３で決定された後、ステップ１０５で、決定された肌タイプ及び／又はメラニン指数を示す信号が出力される。この信号は、装置４２又は処置デバイス２のユーザインターフェースコンポーネントに提供され、信号は、ユーザインターフェースコンポーネントに、決定された肌タイプ及び／又は決定されたメラニン指数を示させるように構成される。処置デバイス２のユーザは、処置デバイス２の現在位置で光パルスをトリガするか、又は肌タイプにしたがって処置デバイス２で１つ又は複数の光源１２の電力設定を調節するかを、判断する標示を使用する。他の例として、装置４２がスマートフォン又は類似の種類のデバイスの形態である場合、決定された肌タイプ及び／又は決定されたメラニン指数に関するフィードバックが、装置４２で実行されているアプリ（ソフトウェアアプリケーション）によってユーザ又は対象者に提供され得る。当業者は、決定された肌タイプ及び／又は決定されたメラニン指数に関するフィードバックがユーザに提供され得る、例えば表示スクリーン、スピーカー、触覚フィードバックなどを含む他の手法を認識するであろう。

【0087】

代替として（又は加えて）、条件が適切であれば（例えば、処置デバイス２が肌に接触している、光源１２が光パルスを生成できるように充電されているなど）処置デバイス２が光パルス又は他の処置動作を自動的にトリガできる場合、信号は処置デバイス２の制御部に提供されることが可能であり、制御部は、処置デバイス２の１つ又は複数の動作設定を決定するために第１の信号を使用し得る。例えば、制御部は、アパーチャ１０と現在隣接する肌の領域を光パルスで処置するか、及び／又はそのためにエネルギ/電力を使用するかの判断を行うために、第１の信号における決定された肌タイプ及び／又はメラニン指数の標示を使用可能である。

【0088】

代替の実施形態において、決定された肌タイプ及び／又はメラニン指数を示す信号は、対象者が使用し得る特定のスキンケア製品及び／又はメークアップ製品に対する推薦又は提案を提供するために使用され得る。例えば、決定された肌タイプは、その肌タイプに適したスキンケア製品を特定するために使用され得る（またその逆もある）。他の例として、決定されたメラニン指数は、特定のコンシーラーを推薦するために使用され得る。

【0089】

図９のプロットは、肌の色素ネットワークの構造の特性に基づいて、異なる肌タイプに対する多くの異なる色正規化画像から肌タイプを特定する際の深層ニューラルネットワークの動作を示す図である。図９は、深層ニューラルネットワークによって特定された肌タイプ（「推論された肌タイプ」）に対する実際の肌タイプ（「期待された肌タイプ」）をグラフ化したものである。したがって、ニューラルネットワークが、画像から肌タイプを正確に特定でき、正確性は、範囲のいずれかの限界（すなわち肌タイプ２.０及び６.０）における肌タイプに対して特に高いことがわかる。

【0090】

ステップ１０３の実施形態で使用されたＭＬＭは、使用前に訓練される。図１０のフローチャートは、肌タイプ及び／又はメラニン指数を決定するために、本発明にしたがって肌を評価するための装置で用いるＭＬＭを訓練する方法を示す。図１０の訓練方法は、図６を実行する同一の装置又はデバイスによって実行される必要がないことが理解されるであろうが、図１０の訓練方法は、装置４２を含む適切な装置又はデバイスによって実行される。例えば、図１０の訓練方法は、中央場所のサーバ又はコンピュータによって実行可能であり、学習済みＭＬＭ（又は学習済みＭＬＭを表すコンピュータコード）は、図６の方法にしたがって肌を評価する際の使用のための様々な装置４２に分散され得る。

【0091】

装置４２が図６の方法を実施する実施形態において、この方法のステップのうちの１つ又は複数のステップは、必要に応じて、装置４２のメモリ部４８及びインターフェース回路５０、及び／又はイメージングユニット４４のいずれかとともに、処理部４６によって実行されることが可能である。処理部４６は、例えば、メモリ部４８などのコンピュータ可読媒体上に格納され得るコンピュータプログラムコードの実行に応答して１つ又は複数のステップを実行する。

【0092】

ＭＬＭを訓練するために、訓練データセットが必要とされる。この訓練データセットは、１人又は複数のテスト対象者（図６の方法が使用される対象者を含む場合も、含まない場合もある）の肌の複数の画像を含む。複数の画像は、１人又は複数の検査対象者の身体の異なる部位の肌のものである。訓練データセット中の各画像は、肌タイプ及び／又はメラニン指数（ＭＬＭが特定するように訓練されるパラメータに依存する）の標示を用いて注釈が付けられる。この注釈は、ユーザ又は他の人によって手動で付けられたものである。訓練データセットは、学習済みＭＬＭによる特定対象の異なる肌タイプ及び／又はメラニン指数のそれぞれに関係する少なくとも１つの画像（ただし、好ましくは複数の画像）を含むべきある。訓練データセットが大きくなるほど、結果として得られるＭＬＭがより正確となる可能性があることが理解されるであろう。

【0093】

訓練データセットは、図１３のステップ１１１で取得される。このステップは、画像及び関連注釈を収集する（例えば、イメージングユニット及びユーザインターフェースを使用）こと、又はデータベース又は他の電子格納デバイスから訓練データセットの画像を取り出すことを含み得る。

【0094】

次に、ステップ１１３において、ＭＬＭは、訓練データセット中の複数の画像を使用して訓練され、それによってＭＬＭは、肌タイプ及び／又はメラニン指数を区別できる（ＭＬＭが特定するように訓練されるパラメータに依存する）。ＭＬＭは、画像において可視の色素ネットワークの構造の特性に基づいて、画像間を区別するように訓練される。上述したように、暗い色の肌タイプ（例えば肌タイプ５.０又は６.０）の場合、色素ネットワークは、通常、うまくつながった高密度のハニカム構造である一方、淡い色の肌タイプ（例えば肌タイプ１.０及び２.０）の場合、色素ネットワークは途切れ途切れで、より疎であり、場合によっては色素が知覚できない。したがって、ＭＬＭは、色素ネットワークの密度に基づいて肌タイプ及び／又はメラニン指数を区別するように訓練され得る。

【0095】

特に、ＭＬＭは、例えば、肌のケラチノサイト及び／又はメラノサイト中のメラニンの存在及び／又は密度を決定することによって、色素ネットワークの構造におけるケラチノサイト及び／又はメラノサイト中のメラニンの存在、及び／又は肌の真皮上皮接合部に沿ったケラチノサイト及び／又はメラノサイト中のメラニンの存在に関係する１つ又は複数の特性に基づいて肌タイプ及び／又はメラニン指数を決定するように訓練され得る。さらに、又は代替として、ＭＬＭは、例えば、真皮乳頭の突縁及び／又は突起のパターンなど、肌の真皮乳頭の突縁及び／又は突起の存在に関係する１つ又は複数の特性に基づいて肌タイプ及び／又はメラニン指数を決定するように訓練され得る。訓練データセットを使用してＭＬＭを訓練するための技法は当業者に知られており、本明細書において詳細は提供されない。ただし、一例として、ＭＬＭが訓練データセット中の画像のサブセットを使用して訓練され、学習済みＭＬＭは訓練データセット中の他の画像のうちの１つ又は複数を使用して正確性に関してテストされる場合に、ＭＬＭは相互検証を使用して訓練され得る。この訓練及びテストは、最終的な学習済みＭＬＭに到達するために、訓練データセット中の画像の異なるサブセットに対して反復され得る。この学習済みＭＬＭは、その後、図６のステップ１０３で使用され得る。

【0096】

いくつかの実施形態において、訓練データセット中の画像は、ＭＬＭを訓練するために使用される前に、色に関して正規化され得る。これによって、その後、ＭＬＭの訓練中に、ＭＬＭは、色の違いではなく、画像における肌構造に向かってバイアスされる。

【0097】

例示の実施において、各肌タイプに対して少なくとも５人の対象者となるように、２７人の対象者の肌データ（画像）が全ての異なる肌タイプにわたって収集された。これらの画像は、季節による日焼けの前後両方の肌の画像と、さらに、頬、内腕、外腕、及び脚などのいくつかの異なる身体箇所からの肌の画像とを含んだものである。基準メラニン指数は、各画像に示される各肌パッチに対しても測定された。ＭＬＭ（例えば、深層ニューラルネットワーク）は、一般的な訓練技法を使用して上記で収集されたデータを用いて訓練された。メラニン指数（及び肌タイプ）定量化のために肌構造の一般化可能性を証明するため、データセット（２７人の対象者の画像）は、クロスフォールド検証実験用の「フォールド」に分割された。各フォールドは、（２７人の対象者のうちの２４人の対象者の）訓練セットと、（２７人の対象者のうちの３人の対象者の）検証セットからなる。訓練セット及び検証セットは、互いに排他的である。各フォールドは、訓練セット及び検証セットに分割された対象者の異なる置換からなる。フォールド毎に、訓練セットはＭＬＭを訓練するために使用され、検証セットは学習済みＭＬＭを検査及び評価するために使用された。したがって、ＭＬＭは、訓練セットに含まれておらずＭＬＭが以前見たことがない３人の対象者からの肌構造の画像を用いて検査及び評価される。図１１、図１２、及び図１３のプロットは、元のデータセットの３つの異なるフォールドにしたがって学習済みＭＬＭによって取得された推論結果を示す。したがって、各プロットは、特定のフォールドの画像の検証セットに対してメラニン指数を特定する際の深層ニューラルネットワークの動作を示す。各図は、深層ニューラルネットワークによって特定されたメラニン指数（「推論されたメラニン指数」）に対する実際のメラニン指数（「期待されたメラニン指数」）をグラフ化したものである。したがって、ニューラルネットワークが、各画像から最小限の誤差の広がりでメラニン指数を正確に特定できたことがわかる。

【0098】

したがって、肌の肌タイプ及び／又はメラニン指数の決定における改善が実現される。それらの改善は、例えば、ＩＰＬデバイスのエネルギレベルを設定する際、又は光が放たれる場所毎にＩＰＬ処置のエネルギレベルの調節を行う際に用いられることが可能であり、ＩＰＬユーザの快適度対効果の比率を改善し得る。

【0099】

図面、本開示、及び添付の特許請求の範囲の熟慮により、本明細書に記載の原理及び技法を実践する上で、本開示の実施形態の変形は当業者によって理解され、実現されることが可能である。請求項において、「備える」という語は、他の要素又はステップを排除せず、単数形は、複数を排除しない。単一のプロセッサ又は他のユニットは、請求項に記載されるいくつかの要素の機能を果たす。特定の手段が互いに異なる従属項に記載されているという事実だけで、それらの手段の組み合わせが効果的に使用されることができないことを示すものではない。コンピュータプログラムは、他のハードウェアとともに、又はその一部として供給される光学格納媒体又はソリッドステート媒体などの適切な媒体上に格納又は分散されてもよいが、さらにインターネット又は他の有線又は無線通信システムを介するなど、他の形態で分散されてもよい。請求項におけるあらゆる参照番号は、範囲を限定すると解釈されるべきではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【国際調査報告】