特表2024-540858 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社アモーレパシフィックの特許一覧

特表2024-540858深層学習を用いた画像解析に基づく肌診断システム及び方法

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6A
6B
6C
6D
7
8
9A
9B
9C
9D
10a
10b
10c
10d
11A
11B
11C
11D
12A
12B
13A
13B
14

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-06

(54)【発明の名称】深層学習を用いた画像解析に基づく肌診断システム及び方法

(51)【国際特許分類】

A61B 5/00 20060101AFI20241029BHJP

A61B 5/107 20060101ALI20241029BHJP

G06T 7/00 20170101ALI20241029BHJP

G06V 10/82 20220101ALI20241029BHJP

【ＦＩ】

A61B5/00 M

A61B5/107 800

G06T7/00 350C

G06T7/00 612

G06T7/00 660A

G06V10/82

A61B5/00 101A

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024521878

(86)(22)【出願日】2022-10-14

(85)【翻訳文提出日】2024-04-10

(86)【国際出願番号】 KR2022015586

(87)【国際公開番号】W WO2023063772

(87)【国際公開日】2023-04-20

(31)【優先権主張番号】10-2021-0136568

(32)【優先日】2021-10-14

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0131817

(32)【優先日】2022-10-13

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】506213681

【氏名又は名称】アモーレパシフィックコーポレーション

【氏名又は名称原語表記】ＡＭＯＲＥＰＡＣＩＦＩＣＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】１００，Ｈａｎｇａｎｇ－ｄａｅｒｏ，Ｙｏｎｇｓａｎ－ｇｕ，Ｓｅｏｕｌ，ＲｅｐｕｂｌｉｃｏｆＫｏｒｅａ

(74)【代理人】

【識別番号】110000556

【氏名又は名称】弁理士法人有古特許事務所

(72)【発明者】

【氏名】パク，ヒョクゴン

(72)【発明者】

【氏名】イ，サンラン

(72)【発明者】

【氏名】ファン，ジュンウォン

(72)【発明者】

【氏名】キム，ウンジュ

(72)【発明者】

【氏名】オ，ワンジン

【テーマコード（参考）】

4C038

4C117

5L096

【Ｆターム（参考）】

4C038VA04

4C038VB03

4C038VB22

4C038VB23

4C038VC05

4C117XB01

4C117XD04

4C117XD05

4C117XE43

4C117XG19

4C117XG37

4C117XJ12

4C117XJ34

4C117XK05

4C117XK09

4C117XK18

4C117XP05

5L096BA03

5L096BA06

5L096CA02

5L096DA02

5L096EA02

5L096EA35

5L096FA52

5L096FA59

5L096FA64

5L096HA11

5L096KA04

(57)【要約】

実施形態は、取得した顔画像から個人を識別できる特徴点を認識することにより、顔構造の形状または位置情報を導出する顔認識モデルと、顔構造の形状または位置情報に基づいて、解析対象の個人情報を識別できないように顔画像を匿名化処理する匿名化モデルと、シワ、色素沈着、毛穴、紅斑、及び老化の診断のうち少なくとも１つの項目のそれぞれに対する複数の人工ニューラルネットワークモデルと、を含む、深層学習を用いた画像解析に基づく肌診断システム及び方法に関する。
【選択図】図３

【特許請求の範囲】

【請求項1】

プロセッサによって行われる深層学習を用いた画像解析に基づく肌診断方法であって、
対象となる肌を撮影して被験者の顔画像を取得するステップと、
取得した前記顔画像から個人を識別できる特徴点を認識することにより、顔構造の形状または位置情報を導出するステップと、
顔構造の形状または位置情報に基づいて、解析対象の個人情報を識別できないように顔画像を匿名化処理するステップと、
匿名化処理された顔画像を複数の人工ニューラルネットワークモデルにそれぞれ入力し、該当人工ニューラルネットワークモデルに対応する項目に対する肌診断結果及び各項目の症状位置を視覚化して提供するステップと、を備え、
前記項目が、シワ、色素沈着、毛穴、紅斑、及び老化の診断のうち少なくとも１つを含む、深層学習を用いた画像解析に基づく肌診断方法。

【請求項2】

前記顔画像を匿名化処理するステップが、
顔画像から特徴点及び背景を分離し、前記特徴点を含む肌の形状を除去するステップと、
前記特徴点が除去された顔画像を複数のパッチに分割するステップと、
複数のパッチをランダム化して再配置するステップと、を備えることを特徴とする、請求項１に記載の深層学習を用いた画像解析に基づく肌診断方法。

【請求項3】

前記特徴点が、眉毛、目、鼻、及び唇のうち少なくとも１つである、請求項１に記載の深層学習を用いた画像解析に基づく肌診断方法。

【請求項4】

前記複数の人工ニューラルネットワークモデルのそれぞれが、複数の訓練サンプルを学習データとして用いて学習され、
前記複数の訓練サンプルは、データ増強（ＤａｔａＡｕｇｍｅｎｔａｔｉｏｎ）技術を用いて変換されたものを含むことを特徴とする、請求項１に記載の深層学習を用いた画像解析に基づく肌診断方法。

【請求項5】

前記データ増強技術が、ランダムクロップ（ｒａｎｄｏｍｃｒｏｐ）、ぼかし（ｂｌｕｒ）、及びフリップ（ｆｌｉｐ）処理のうち少なくとも１つを含むことを特徴とする、深層学習を用いた画像解析に基づく肌診断方法。

【請求項6】

シワを診断するための人工ニューラルネットワークモデルが、シワが検出された総個体数と、シワが検出された個体における周囲の未検出領域に対する強度（深さ）推定と、シワが検出された総面積と、検出されたシワの長さ及び幅とを含むパラメータを調整することで学習し、
シワの数、シワの強度（深さ）、シワの面積、シワの長さ、シワの幅、シワの強度や面積、長さ、幅ごとの分布、及びシワスコアのうち少なくとも１つの解析結果を出力することを特徴とする、請求項１に記載の深層学習を用いた画像解析に基づく肌診断方法。

【請求項7】

色素沈着を診断するための人工ニューラルネットワークモデルが、色素沈着が検出された総個体数と、色素沈着が検出された個体における周辺未検出領域に対する強度推定と、色素沈着が検出された総面積とを含むパラメータを調整することで学習し、
色素沈着の数、色素沈着の強度、色素沈着の面積、色素沈着の強度や面積、長さ、幅ごとの分布、及び色素沈着スコアのうち少なくとも１つの解析結果を出力することを特徴とする、請求項１に記載の深層学習を用いた画像解析に基づく肌診断方法。

【請求項8】

毛穴を診断するための人工ニューラルネットワークモデルが、毛穴が検出された総個体数と、毛穴が検出された個体における周囲の未検出領域に対する強度（深さ）推定と、毛穴が検出された総面積、毛穴の長さ、毛穴の幅とを含むパラメータを調整することで学習し、
毛穴の数、毛穴の強度（深さ）、毛穴の大きさ、毛穴の面積、毛穴の長さ、毛穴の幅、毛穴のたるみ（長さと幅の割合）、毛穴の強度や面積、長さ、幅、たるみごとの分布、及び毛穴スコアのうち少なくとも１つに対する解析結果を出力することを特徴とする、請求項１に記載の深層学習を用いた画像解析に基づく肌診断方法。

【請求項9】

紅斑を診断するための人工ニューラルネットワークモデルが、紅斑が検出された総個体数と、紅斑が検出された個体における周辺未検出領域に対する強度推定と、紅斑が検出された総面積とを含むパラメータを調整することで学習し、
紅斑の数、紅斑の強度、紅斑の面積、紅斑の強度や面積ごとの分布、及び紅斑スコアのうち少なくとも１つに対する解析結果を出力することを特徴とする、請求項１に記載の深層学習を用いた画像解析に基づく肌診断方法。

【請求項10】

老化を診断するための人工ニューラルネットワークモデルが、匿名化処理された顔画像、単一の人工ニューラルネットワークモデルの出力結果、及び複数の人工ニューラルネットワークモデルの出力結果を統合した値のうち少なくとも１つを入力として受け取り、顔画像から推定される顔の老化または顔の肌の老化に対する年齢を予測することを特徴とする、請求項１に記載の深層学習を用いた画像解析に基づく肌診断方法。

【請求項11】

前記複数の人工ニューラルネットワークモデルのそれぞれが、Ｕネットモデルに基づくエンコーダ・デコーダ（Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ）構造モデルであることを特徴とする、請求項１に記載の深層学習を用いた画像解析に基づく肌診断方法。

【請求項12】

前記複数の人工ニューラルネットワークモデルのそれぞれが、ＲｅｓＮｅｔに基づくｉｍａｇｅＮｅｔｐｒｅ－ｔｒａｉｎｅｄｗｅｉｇｈｔの形で学習されることを特徴とする、請求項１に記載の深層学習を用いた画像解析に基づく肌診断方法。

【請求項13】

前記項目に対する肌診断結果に基づいて、特定の製品に対する抗酸化効果及び美白効果のうち少なくとも１つを評価するステップをさらに備える、請求項１に記載の深層学習を用いた画像解析に基づく肌診断方法。

【請求項14】

匿名化処理された顔画像を複数の人工ニューラルネットワークモデルにそれぞれ入力する前に、問診によって前記被験者の肌の悩み及びライフスタイルに関する情報を取得するステップをさらに備え、
前記肌診断結果が、前記被験者の肌の悩み及びライフスタイルに関連した結果であることを特徴とする、請求項１に記載の深層学習を用いた画像解析に基づく肌診断方法。

【請求項15】

前記肌診断結果に基づいて、被験者の肌の悩み及びライフスタイルに合わせた特定の製品を推薦するか、あるいは美容食生活を提供するステップをさらに備える、請求項１４に記載の深層学習を用いた画像解析に基づく肌診断方法。

【請求項16】

対象となる肌を撮影して顔画像を取得する撮影部と、
取得した前記顔画像から個人を識別できる特徴点を認識することにより、顔構造の形状または位置情報を導出する顔認識モデルと、
顔構造の形状または位置情報に基づいて、解析対象の個人情報を識別できないように顔画像を匿名化処理する匿名化モデルと、
シワ、色素沈着、毛穴紅斑、及び老化の診断のうち少なくとも１つの項目のそれぞれに対する複数の人工ニューラルネットワークモデルであって、前記複数の人工ニューラルネットワークモデルが、匿名化処理された顔画像の入力を受け、該当人工ニューラルネットワークモデルに対応する項目に対する肌診断結果及び各項目の症状の位置を視覚化して提供する複数の人工ニューラルネットワークモデルと、を含む、深層学習を用いた画像解析に基づく肌診断システム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、深層学習を用いた画像解析に基づく肌診断システム及び方法に関する。

【0002】

関連出願の相互参照
本出願は、２０２１年１０月１４日付で出願された大韓民国特許出願第１０－２０２１－０１３６５６８号及び２０２２年１０月１３日付で出願された大韓民国特許出願第１０－２０２２－０１３１８１７号に基づき優先権を主張し、その明細書全体が本出願の参照として取り込まれる。

【背景技術】

【0003】

肌診断は、医療用途のみならず、化粧品産業及び関連研究分野でも活発に活用されており、オンライン市場と個人化サービスの発達に伴い、より簡単かつ正確に肌診断を行える方法に対する需要が高まっている。一方、従来の様々な肌診断及び測定方法は、精度は高いものの、測定項目が制限されており、高価な装置を必要とする。従来の画像解析に基づく肌診断方法は、比較的安価であり、１つの画像で様々な項目を測定することができるものの、精度が低く、定量的な詳細データを取得するのは困難または高価である。

【0004】

さらに、従来の肌診断方法は、精度の達成難易度と、データのラベル付け（Ｌａｂｅｌｉｎｇ）の問題を回避するために、症状の検出位置と定量的データを提供しないか、あるいは症状の単なる等級付けで実装することによって、実際の項目ごとの症状位置と定量的情報を提供しないという問題があった。

【0005】

また、従来の先行技術は、肌診断に活用される顔画像に含まれる個人識別情報を除去する手順が含まれておらず、解析処理やデータ収集における個人情報の管理や保護手順が不十分であるという問題がある。

【0006】

他の先行技術も、画像を利用して人工知能（ＡＩ）を用いた肌診断の概念のみを定義するだけで、実際の細部動作や診断に対する技術定義が含まれていないか、あるいは画像収集及び診断機器をスマートフォンやスマートデバイスなどに限定しており、様々な画像装置における収集環境と別途の診断サービス構成の組み合わせが可能な部分を考慮しておらず、活用範囲が制限される。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本出願は、前述の課題を解決するためのものであり、人工知能（ＡＩ）技術を肌の老化評価及び肌の病変評価に適用することで、顔の肌の老化などを認知し、統合解析が可能な診断技術を提供する。具体的には、深層学習学習によって人工ニューラルネットワークモデルを作製し、肌画像における各項目に応じた症状を診断解析し、実際の肌の症状の細部個体ごとの位置と形状、深化度合を定量的に導出することができる。各症状の数や平均サイズ、形状、全体的な面積や症状の強度などの解析が可能であり、得られた情報を活用して肌画像に診断内容を強調する可視化情報を提供することができる。

【課題を解決するための手段】

【0008】

本出願の一態様によるプロセッサによって行われる深層学習を用いた画像解析に基づく肌診断方法であって、対象となる肌を撮影して被験者の顔画像を取得するステップと、取得した前記顔画像から個人を識別できる特徴点を認識することにより、顔構造の形状または位置情報を導出するステップと、顔構造の形状または位置情報に基づいて、解析対象の個人情報を識別できないように顔画像を匿名化処理するステップと、匿名化処理された顔画像を複数の人工ニューラルネットワークモデルにそれぞれ入力し、該当人工ニューラルネットワークモデルに対応する項目に対する肌診断結果及び各項目の症状位置を視覚化して提供するステップと、を備え、前記項目は、シワ、色素沈着、毛穴、紅斑、及び老化の診断のうち少なくとも１つを含んでもよい。

【0009】

一実施形態において、前記顔画像を匿名化処理するステップは、顔画像から特徴点及び背景を分離し、前記特徴点を含む肌の形状を除去するステップと、前記特徴点が除去された顔画像を複数のパッチに分割するステップと、前記複数のパッチをランダム化して再配置するステップと、を備えてもよい。

【0010】

一実施形態において、前記特徴点は、眉毛、目、鼻、及び唇のうち少なくとも１つであってもよい。

【0011】

一実施形態において、前記複数の人工ニューラルネットワークモデルのそれぞれは、複数の訓練サンプルを学習データとして用いて学習され、前記複数の訓練サンプルは、データ増強（ＤａｔａＡｕｇｍｅｎｔａｔｉｏｎ）技術を用いて変換されたものを含んでもよい。

【0012】

一実施形態において、前記データ増強技術は、ランダムクロップ（ｒａｎｄｏｍｃｒｏｐ）、ぼかし（ｂｌｕｒ）、及びフリップ（ｆｌｉｐ）処理のうち少なくとも１つを含んでもよい。

【0013】

一実施形態において、シワを診断するための人工ニューラルネットワークモデルは、シワが検出された総個体数と、シワが検出された個体における周囲の未検出領域に対する強度（深さ）推定と、シワが検出された総面積と、検出されたシワの長さ及び幅とを含むパラメータを調整することで学習し、シワの数、シワの強度（深さ）、シワの面積、シワの長さ、シワの幅、シワの強度や面積、長さ、幅ごとの分布、及びシワスコアのうち少なくとも１つに対する解析結果を出力してもよい。

【0014】

一実施形態において、色素沈着を診断するための人工ニューラルネットワークモデルは、色素沈着が検出された総個体数と、色素沈着が検出された個体における周囲の未検出領域に対する強度推定と、色素沈着が検出された総面積とを含むパラメータを調整することで学習し、色素沈着の数、色素沈着の強度、色素沈着の面積、色素沈着の強度や面積、長さ、幅ごとの分布、及び色素沈着スコアのうち少なくとも１つに対する解析結果を出力してもよい。

【0015】

一実施形態において、毛穴を診断するための人工ニューラルネットワークモデルは、毛穴が検出された総個体数と、毛穴が検出された個体における周囲の未検出領域に対する強度（深さ）推定と、毛穴が検出された総面積、毛穴の長さ、毛穴の幅とを含むパラメータを調整することで学習し、毛穴の数、毛穴の強度（深さ）、毛穴の大きさ、毛穴の面積、毛穴の長さ、毛穴の幅、毛穴のたるみ（長さと幅の割合）、毛穴の強度や面積、長さ、幅、たるみごとの分布、及び毛穴スコアのうち少なくとも１つに対する解析結果を出力してもよい。

【0016】

一実施形態において、紅斑を診断するための人工ニューラルネットワークモデルは、紅斑が検出された総個体数と、紅斑が検出された個体における周囲の未検出領域に対する強度推定と、紅斑が検出された総面積とを含むパラメータを調整することで学習し、紅斑の数、紅斑の強度、紅斑の面積、紅斑の強度や面積ごとの分布、及び紅斑スコアのうち少なくとも１つに対する解析結果を出力してもよい。

【0017】

一実施形態において、老化を診断するための人工ニューラルネットワークモデルは、匿名化処理された顔画像、単一の人工ニューラルネットワークモデルの出力結果、及び複数の人工ニューラルネットワークモデルの出力結果を統合した値のうち少なくとも１つを入力として受け取り、顔画像から推定される顔の老化または顔の肌の老化に対する年齢を予測してもよい。

【0018】

一実施形態において、前記複数の人工ニューラルネットワークモデルのそれぞれは、Ｕ_－ｎｅｔモデルに基づくエンコーダ・デコーダ（Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ）構造モデルであってもよい。

【0019】

一実施形態において、前記複数の人工ニューラルネットワークモデルのそれぞれは、ＲｅｓＮｅｔに基づくｉｍａｇｅＮｅｔｐｒｅ－ｔｒａｉｎｅｄｗｅｉｇｈｔの形で学習されてもよい。

【0020】

一実施形態において、前記方法は、前記項目に対する肌診断結果に基づいて、特定の製品に対する抗酸化効果及び美白効果のうち少なくとも１つを評価するステップをさらに備えてもよい。

【0021】

一実施形態において、匿名化処理された顔画像を複数の人工ニューラルネットワークモデルにそれぞれ入力する前に、問診によって前記被験者の肌の悩み及びライフスタイルに関する情報を取得するステップをさらに備え、前記肌診断結果は、前記被験者の肌の悩み及びライフスタイルに関連した結果であってもよい。

【0022】

一実施形態において、前記肌診断結果に基づいて、被験者の肌の悩み及びライフスタイルに合わせた特定の製品を推薦するか、あるいは美容食生活を提供するステップをさらに備えてもよい。

【0023】

本出願の別の一態様による深層学習を用いた画像解析に基づく肌診断システムは、対象となる肌を撮影して顔画像を取得する撮影部と、取得した前記顔画像から個人を識別できる特徴点を認識することにより、顔構造の形状または位置情報を導出する顔認識モデルと、顔構造の形状または位置情報に基づいて、解析対象の個人情報を識別できないように顔画像を匿名化処理する匿名化モデルと、シワ、色素沈着、毛穴紅斑、及び老化の診断のうち少なくとも１つの項目のそれぞれに対する複数の人工ニューラルネットワークモデルであって、前記複数の人工ニューラルネットワークモデルは、匿名化処理された顔画像の入力を受け、該当人工ニューラルネットワークモデルに対応する項目に対する肌診断結果及び各項目の症状の位置を視覚化して提供する複数の人工ニューラルネットワークモデルと、を含んでもよい。

【発明の効果】

【0024】

本出願の一形態による深層学習を用いた画像解析に基づく肌診断システム及び方法は、顔の位置を求める顔認識モデルと、個人情報の匿名化処理のために、顔画像内の肌領域のみを残してランダム化配置を行う匿名化モデルと、シワ、色素沈着、毛穴、紅斑、及び老化の診断を含む診断症状ごとのモデルなどで分離構成されている。よって、特性ごとに最適化や機能分離・調整が可能であり、重複した診断や効率的なシステム管理・運用が可能である。

【0025】

取得した顔画像から匿名化処理された一部の肌画像でも肌診断が可能で、診断システム中で個人情報を活用したり、保管及び／または処理しないように設計されているので、システム運営とデータ収集部分においても個人情報の漏洩や管理に前もって対応することができる。

【0026】

当該システムで肌状態診断に用いる画像は、専門撮影装置や一般的なカメラ、スマートフォンなどの画像に限らず、画像条件に合わせて各肌診断項目の特性を導出するように設計されており、画像の種類や形式による影響を最低限に抑え、様々な目的で活用することができる。

【0027】

抗老化研究のように長期間の追跡観察解析が必要な長期間の肌老化研究及び抗老化製品の効能評価、微細な肌色素の変化を解析しなければならない美白化粧品の効能評価でも、肌の変化と化粧品の効能評価を定量的に行うことができる。よって、別途の肌測定装置や解析準備がなくても、様々な肌診断項目を迅速かつ安価で行うことができるので、長期間の追跡観察や大規模の肌研究などの分野に有利な特性を提供する。

【0028】

本出願の効果は、前述の効果に限定されず、言及されていない他の効果は、当業者であれば、添付の特許請求の範囲の記載から明確に理解できるであろう。

【図面の簡単な説明】

【0029】

本出願または従来技術の実施形態の技術的解決策をより明確に説明するために、実施形態の説明に必要な図面を以下に簡単に紹介する。以下の図面は、本明細書の実施形態を説明するためのものに過ぎず、限定するためのものではないことを理解されたい。さらに、説明を明確にするために、以下の図面では誇張、省略などの様々な変形が適用されたいくつかの要素を示すことがある。

【0030】

【図1】本出願の一実施形態による画像解析に基づく肌診断システムのブロック図である。

【図2】本出願の他の実施形態による、画像解析に基づく肌診断方法のフローチャートである。

【図3】本出願の一実施形態による複数の人工ニューラルネットワークモデルの入出力過程を示す概略図である。

【図4】本出願の一実施形態による顔認識モデルが顔の特徴点を抽出して位置を求め、匿名化モデルを介して肌領域のみを抽出する過程を示す図である。

【図5】本出願の一実施形態による匿名化モデルにおける顔画像の匿名化処理過程を示す図である。

【図6A】本出願の一実施形態による、複数の人工知能ニューラルネットワークモデルのそれぞれを学習するために、専門家によって複数の訓練サンプルがラベル付けされる過程を示す図である。

【図6B】本出願の一実施形態による、複数の人工知能ニューラルネットワークモデルのそれぞれを学習するために、専門家によって複数の訓練サンプルがラベル付けされる過程を示す図である。

【図6C】本出願の一実施形態による、複数の人工知能ニューラルネットワークモデルのそれぞれを学習するために、専門家によって複数の訓練サンプルがラベル付けされる過程を示す図である。

【図6D】本出願の一実施形態による、複数の人工知能ニューラルネットワークモデルのそれぞれを学習するために、専門家によって複数の訓練サンプルがラベル付けされる過程を示す図である。

【図7】本出願の一実施形態による、Ｕｎｅｔに基づく人工知能ニューラルネットワークモデルを示す図である。

【図8】本出願の一実施形態による、複数の人工知能ニューラルネットワークモデルのそれぞれが肌を診断する主な項目をまとめた表である。

【図9A】本出願の一実施形態による、匿名化モデル及び複数の人工知能ニューラルネットワークモデルの項目ごとの診断結果を匿名化前状態の画像に再構成した画像である。

【図9B】本出願の一実施形態による、匿名化モデル及び複数の人工知能ニューラルネットワークモデルの項目ごとの診断結果を匿名化前状態の画像に再構成した画像である。

【図9C】本出願の一実施形態による、匿名化モデル及び複数の人工知能ニューラルネットワークモデルの項目ごとの診断結果を匿名化前状態の画像に再構成した画像である。

【図9D】本出願の一実施形態による、匿名化モデル及び複数の人工知能ニューラルネットワークモデルの項目ごとの診断結果を匿名化前状態の画像に再構成した画像である。

【図10A】本出願の一実施形態による、匿名化モデルによって匿名化処理を行った場合の複数の人工知能ニューラルネットワークモデルの項目ごとの診断画像である。

【図10B】本出願の一実施形態による、匿名化モデルによって匿名化処理を行った場合の複数の人工知能ニューラルネットワークモデルの項目ごとの診断画像である。

【図10C】本出願の一実施形態による、匿名化モデルによって匿名化処理を行った場合の複数の人工知能ニューラルネットワークモデルの項目ごとの診断画像である。

【図10D】本出願の一実施形態による、匿名化モデルによって匿名化処理を行った場合の複数の人工知能ニューラルネットワークモデルの項目ごとの診断画像である。

【図11A】本出願の一実施形態による、加齢に伴う項目ごとの診断結果の相関性を示すグラフである。

【図11B】本出願の一実施形態による、加齢に伴う項目ごとの診断結果の相関性を示すグラフである。

【図11C】本出願の一実施形態による、加齢に伴う項目ごとの診断結果の相関性を示すグラフである。

【図11D】本出願の一実施形態による、加齢に伴う項目ごとの診断結果の相関性を示すグラフである。

【図12A】本出願の一実施形態による、本出願を用いて抗老化製品の評価研究結果を解析したグラフである。

【図12B】本出願の一実施形態による、本出願を用いて抗老化製品の評価研究結果を解析したグラフである。

【図13A】本出願の一実施形態による、本出願を用いて美白製品の評価研究結果を解析したグラフである。

【図13B】本出願の一実施形態による、本出願を用いて美白製品の評価研究結果を解析したグラフである。

【図14】本出願の一実施形態による、問診によって被験者の肌の悩み及びライフスタイルに関する情報を取得する過程を示す図である。

【発明を実施するための形態】

【0031】

本明細書で使用される専門用語は、単に特定の実施形態に言及するためのものであり、本出願を限定することを意図するものではない。本明細書で使用される単数形は、記載が明らかに反対の意味を示さない限り、複数の形態も含む。本明細書で使用される「含む」の意味は、特定の特性、領域、整数、ステップ、動作、項目及び／または成分を具体化し、他の特性、領域、整数、ステップ、動作、項目及び／または成分の存在または付加を除外するものではない。

【0032】

特に定義されていないが、本明細書で使用される技術用語及び科学用語を含むすべての用語は、本出願が属する技術分野における通常の知識を有する者が一般的に理解する意味と同じ意味を有する。一般的に用いられる事前に定義された用語は、関連技術文献と現在開示されている内容と一致する意味を有するものとしてさらに解釈され、特に定義されない限り、理想的または非常に公式的な意味として解釈されるべきではない。

【0033】

以下では、図面を参照し、本出願の実施形態について詳細に説明する。

【0034】

図１は、本出願の一実施形態による深層学習を用いた画像解析に基づく肌診断システム１（以下、「肌診断システム」）のブロック図である。

【0035】

図１を参照すると、肌診断システム１は、対象となる肌を撮影して顔画像を取得する撮影部１０と、取得した前記顔画像から個人を識別できる特徴点を認識することにより、顔構造の形状または位置情報を導出する顔認識モデル１１と、顔構造の形状または位置情報に基づいて、解析対象の個人情報を識別できないように顔画像を匿名化処理する匿名化モデル１２と、シワ、色素沈着、毛穴、及び紅斑のうち少なくとも１つの項目のそれぞれに対する複数の人工ニューラルネットワークモデルであって、前記複数の人工ニューラルネットワークモデルは、匿名化処理された顔画像の入力を受け、該当人工ニューラルネットワークモデルに対応する項目に対する肌診断結果及び各項目の症状の位置を視覚化して提供する複数の人工ニューラルネットワークモデル１３，１４，１５，１６と、を含んでもよい。前記項目は、シワ、色素沈着、毛穴、及び紅斑のうち少なくとも１つを含んでもよい。また、肌診断システム１は、匿名化モデルを含む単一または複数の人工ニューラルネットワークモデルの出力結果を統合した値を入力として受け取り、顔画像から推定される年齢を予測する老化診断モデル１７をさらに含んでもよい。

【0036】

本明細書において、人工ニューラルネットワークモデルは、深層学習モデル（ｄｅｅｐｌｅａｒｎｉｎｇｍｏｄｅｌ）を含んでもよいが、深層学習モデルは、人工ニューラルネットワークを多層に積み重ねた形態であってもよい。深層学習モデル（ｄｅｅｐｌｅａｒｎｉｎｇｍｏｄｅｌ）は、多層ネットワークからなる深層ニューラルネットワーク（ｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋ）で大量のデータを学習することによって各画像の特徴（ｆｅａｔｕｒｅ）を自動的に学習し、それによって目的関数、すなわち予測精度のエラー（ｅｒｒｏｒ）を最小化する方法でネットワークを学習させていく形態である。

【0037】

本明細書において、深層学習モデル（ｄｅｅｐｌｅａｒｎｉｎｇｍｏｄｅｌ）は、例えば、ＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）、ＤＨＮ（ＤｅｅｐＨｉｅｒａｃｈｉｃａｌＮｅｔｗｏｒｋ）、ＣＤＢＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＤｅｅｐＢｅｌｉｅｆＮｅｔｗｏｒｋ）、ＤＤＮ（ＤｅｃｏｎｖｏｌｕｔｉｏｎａｌＤｅｅｐＮｅｔｗｏｒｋ）などを用いてもよいが、現在または将来の様々な深層学習モデルを用いてもよい。

【0038】

実施形態による肌診断システム１は、完全にハードウェアであるか、完全にソフトウェアであるか、あるいは部分的にハードウェアであって、部分的にソフトウェアである側面を有してもよい。例えば、システムは、データ処理能力を備えたハードウェア及びそれを駆動するためのオペレーティングソフトウェアを通称してもよい。本明細書における「部（ｕｎｉｔ）」、「システム」、及び「装置」などの用語は、ハードウェア及びそのハードウェアによって駆動されるソフトウェアの組み合わせを指すことが意図される。例えば、ハードウェアは、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＧＰＵ（ＧｒａｐｈｉｃＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、または他のプロセッサ（ｐｒｏｃｅｓｓｏｒ）を含むデータ処理装置であってもよい。また、ソフトウェアは、実行中のプロセス、オブジェクト（ｏｂｊｅｃｔ）、実行ファイル（ｅｘｅｃｕｔａｂｌｅ）、実行スレッド（ｔｈｒｅａｄｏｆｅｘｅｃｕｔｉｏｎ）、プログラム（ｐｒｏｇｒａｍ）などを指してもよい。

【0039】

例えば、前記肌診断システム１の概念（例えば、構成要素１０～１７の動作）は、（Ｃａｎｆｉｅｌｄ社（Ｆａｉｒｆｉｅｌｄ，ＮＪ，ＵＳＡ）のＶＩＳＩＡ－ＣＲ(R)システムのような）肌解析用の画像システムまたはコンピュータ用ソフトウェア、または顧客用アプリとして、様々なコンピューティングデバイス（例えば、スマートフォンを含むスマートデバイス、コンピュータなど）に組み込まれてもよい。ソフトウェアは、撮影された対象となる肌の画像を処理するように設計され、そして画像内の対象となる肌を診断及び評価し、さらには操作結果をユーザに提供してもよい。

【0040】

撮影部１０は、対象となる肌を撮影する構成要素であり、本技術分野で使用可能な様々な映像撮影機器で実装（ｉｍｐｌｅｍｅｎｔｅｄ）されてもよい。一実施形態において、撮影部１０は、対象となる肌画像を撮影して、顔画像を取得するように構成される。例えば、撮影部１０は、Ｃａｎｆｉｅｌｄ社（Ｆａｉｒｆｉｅｌｄ，ＮＪ，ＵＳＡ）のＶＩＳＩＡ－ＣＲ(R)で実装されてもよい。

【0041】

撮影部１０は、対象となる肌画像データを他の構成要素１１～１７に提供してもよい。また、撮影部１０は、対象となる肌画像の部分領域を抽出する動作、例えば、クロッピング（ｃｒｏｐｐｉｎｇ）処理をするようにさらに構成されてもよい。

【0042】

前記肌診断システム１が本明細書に明示的に記載されていない他の構成要素を含み得ることは、当業者であれば明らかであろう。例えば、前記肌診断システムは、ネットワークインターフェース、データエントリのための入力装置、及びディスプレイ、印刷または他のデータ表示のための出力装置、メモリなどの記憶装置を含む、本明細書に記載の動作に必要な他のハードウェア要素を含んでもよい。

【0043】

図２は、本出願の他の実施形態による、画像解析に基づく肌診断方法のフローチャートである。

【0044】

図２を参照すると、画像解析に基づく肌診断方法（以下、「肌診断方法」）は、プロセッサを含むコンピューティングデバイスによって行われる。前記プロセッサを含むコンピューティングデバイスは、例えば、前記肌診断システム１または一部の構成要素（例えば、撮影部１０、顔認識モデル１１、匿名化モデル１２、及び／または複数の人工ニューラルネットワークモデル１３～１７）によって行われるか、あるいは他のコンピューティングデバイスによって行われてもよい。以下、説明を明確にするために、前記肌診断方法が、前記肌診断システム１によって行われる実施形態を挙げて、本出願をより詳細に説明する。

【0045】

図２を参照すると、肌診断方法は、問診によって被験者の肌の悩み及びライフスタイルに関する情報を取得するステップ（Ｓ２０）と、（例えば、撮影部１０によって）対象となる肌を撮影して被験者の顔画像を取得するステップ（Ｓ２１）と、（例えば、顔認識モデル１１によって）取得した顔画像から個人を識別できる特徴点を認識することにより、顔構造の形状または位置情報を導出するステップ（Ｓ２２）と、（例えば、匿名化モデル１１２によって）顔構造の形状または位置情報に基づいて、解析対象の個人情報を識別できないように顔画像を匿名化処理するステップ（Ｓ２３）と、（例えば、複数の人工ニューラルネットワークモデル１３～１７によって）匿名化処理された顔画像を複数の人工ニューラルネットワークモデルにそれぞれ入力し、当該人工ニューラルネットワークモデルに対応する項目に対する肌診断結果及び各項目の症状の位置を視覚化して提供するステップ（Ｓ２４）と、肌診断結果に基づいて、被験者の肌の悩み及びライフスタイルに合わせてカスタマイズされた特定の製品を推薦するか、あるいは美容食生活を提供するステップ（Ｓ２５）と、特定の製品に対する抗酸化効果及び美白効果のうち少なくとも１つを評価するステップ（Ｓ２６）と、を備える。

【0046】

図３は、本出願の一実施形態による複数の人工ニューラルネットワークモデルの入出力過程を示す概略図である。

【0047】

図３を参照すると、肌診断システム１は、顔の位置を求める顔認識（ＦａｃｅＤｅｔｅｃｔｉｏｎ）モデル、画像の個人情報を除去する匿名化モデル、色素沈着、毛穴、紅斑、シワを診断する各項目の診断モデルなどの合計６種類からなり、それぞれの特性最適化及び機能分離が可能に構成されている。各モデルは、各項目に対する正確な症状診断のために学習される。

【0048】

シワを診断するシワモデルは、匿名化された顔画像を入力として受け取り、シワの数、シワの強度（深さ）、シワの面積、シワの長さ、シワの幅、シワの強度や面積、長さ、幅ごとの分布、及びシワスコアのうち少なくとも１つに対する解析結果を出力してもよい。色素沈着を診断する色素沈着モデルは、色素沈着の数、色素沈着の強度、色素沈着の面積、色素沈着の強度や面積ごとの分布、及び色素沈着スコアのうち少なくとも１つに対する解析結果を出力してもよい。毛穴を診断する毛穴モデルは、毛穴の数、毛穴の強度（深さ）、毛穴の大きさ、毛穴の面積、毛穴の長さ、毛穴の幅、毛穴のたるみ（長さと幅の割合）、毛穴の強度や面積、長さ、幅、たるみごとの分布、及び毛穴スコアのうち少なくとも１つに対する解析結果を出力してもよい。紅斑を診断する紅斑モデルは、紅斑の数、紅斑の強度、紅斑の面積、紅斑の強度や面積ごとの分布、及び紅斑スコアのうち少なくとも１つの解析結果を出力してもよい。前記シワスコア、色素沈着スコア、毛穴スコア、及び紅斑スコアのそれぞれは、事前に収集されたデータに基づいて個々の肌項目の肌状態に対するスコア化された数値を意味し、シワ、色素沈着、毛穴及び紅斑のそれぞれの強度及び総面積のような単一または複数の組み合わせのデータを考慮して算出される。前記シワモデル、色素沈着モデル、毛穴モデル、及び紅斑モデルが出力した解析結果は、該当項目の症状に対する部位に視覚化されて示されてもよい。また、顔の老化を診断する老化診断モデルは、匿名化または匿名化されていない顔画像を入力として受け取り、顔部の老化状態及び顔部の肌の老化状態に対する解析結果を出力してもよい。

【0049】

図４は、本出願の一実施形態による顔認識モデルが顔の特徴点を抽出して位置を求め、匿名化モデルを介して肌領域のみを抽出する過程を示す図である。

【0050】

図４を参照すると、顔認識モデルは、取得した顔画像から個人を識別できる特徴点を認識することにより、顔構造の形状または位置情報を導出してもよい。前記特徴点は、眉毛、目、鼻、及び唇のうち少なくとも１つであってもよく、背景を分離認識してもよい。一実施形態において、顔認識モデルは、肌診断に適した画像であるかどうかを判断し、適切な画像であると判断された場合にのみ肌解析を進めてもよい。さらに、顔認識モデルは、顔画像で匿名化処理を行った後に検出された肌領域の大きさである顔サイズを出力してもよい。

【0051】

図５は、本出願の一実施形態による匿名化モデルにおける顔画像の匿名化処理過程を示す図である。

【0052】

図５を参照すると、匿名化モデルは、顔画像から特徴点及び背景を分離し、前記特徴点を含む肌の形状を除去するステップと、前記特徴点が除去された顔画像を複数のパッチに分割するステップと、前記複数のパッチをランダム化して再配置するステップと、を備えてもよい。

【0053】

よって、匿名化モデルによって取得した顔画像から匿名化処理された一部の肌画像でも肌診断が可能で、診断システム中で個人情報を活用したり、保管及び／または処理しないように設計されているので、システム運営とデータ収集部分においても個人情報の漏洩や管理に前もって対応することができる。

【0054】

図６Ａ～図６Ｄは、本出願の一実施形態による、複数の人工知能ニューラルネットワークモデルのそれぞれを学習するために、専門家によって複数の訓練サンプルがラベル付けされる過程を示す図である。

【0055】

図６Ａ～図６Ｄを参照すると、前記複数の人工ニューラルネットワークモデルのそれぞれが、複数の訓練サンプルを学習データとして用いて学習されてもよい。一実施形態において、高解像度前眼部撮影装置（ＶＩＳＩＡ－ＣＲ、ＶＩＳＩＡなど）で撮影された韓国男女の自社人体適用研究画像１３，５９６枚を選定及び加工し、５０３５８個の画像パッチを人工ニューラルネットワークモデル学習に使用し、１１５０枚の画像パッチは、モデル学習結果の検証に用いた。データのラベル付けの場合、肌画像から目視で確認可能な各項目の位置と形状を分割（ｓｅｇｍｅｎｔａｔｉｏｎ）し、５０人以上の作業者とともに１０年以上経歴の臨床専門家３人以上が作業データを検収して製作した。データのラベル付けは、開発目標に応じて人工知能が学習できるように元のデータに最終結果や情報を表示加工する作業である。一例として、シワ診断学習のためにシワモデルが診断しようとする肌画像において、シワの正確な位置を表示する。分割とは、画像データのラベル付けや画像解析時に特定の目標領域の種類と位置を分類表示する作業である。

【0056】

前記複数の訓練サンプルは、データ増強（ＤａｔａＡｕｇｍｅｎｔａｔｉｏｎ）技術を用いて変換されてもよい。データ増強は、人工知能学習のためのデータセットを様々なリアルな形に変換し、実際に収集したデータ以上のデータ多様性と数量を確保し、様々なデータ環境に対する適応性と開発性能を高める技術である。

【0057】

一実施形態において、前記データ増強技術は、ランダムクロップ（ｒａｎｄｏｍｃｒｏｐ）、ぼかし（ｂｌｕｒ）、及びフリップ（ｆｌｉｐ）処理のうち少なくとも１つを含んでもよい。データ増強技術により、様々な環境でも一般的且つ一貫した結果が得られるようにし、それにより学習していない機器や環境でも有意に動作できるようにする効果を奏することができる。

【0058】

図７は、本出願の一実施形態による、Ｕｎｅｔに基づく人工知能ニューラルネットワークモデルを示す図である。

【0059】

図７を参照すると、匿名化モデル及び複数の人工ニューラルネットワークモデルのそれぞれは、Ｕ－ｎｅｔモデルに基づくエンコーダ・デコーダ（Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ）構造モデルであってもよい。Ｕ－ｎｅｔモデルは、Ｂｉｏｍｅｄｉｃａｌ分野において画像分割（Ｓｅｇｍｅｎｔａｔｉｏｎ）を目的に開発された代表的な人工ニューラルネットワークモデルの一つである。Ｕ－ｎｅｔモデルは、Ｕ字型で目標過程の様々な過程を一つのニューラルネットワークによって再配置するプロセスを有している。エンコーダ・デコーダ構造モデルは、入力と出力のデータ処理を分離及び関連付けることができるように設計され、処理効率と品質を向上させる人工知能モデルである。匿名化モデル及び複数の人工ニューラルネットワークモデルのそれぞれは、ＲｅｓＮｅｔに基づくｉｍａｇｅＮｅｔｐｒｅ－ｔｒａｉｎｅｄｗｅｉｇｈｔの形で学習されてもよい。学習基準として、ｍＩｏＵ（ｍｅａｎＩｎｔｅｒｓｅｃｔｉｏｎｏｖｅｒＵｎｉｏｎ）を活用し、一般的に活用するＣｒｏｓｓ－Ｅｎｔｒｏｐｙｌｏｓｓの他、Ｄｉｃｅｌｏｓｓ、Ｆｏｃａｌｌｏｓｓなどを追加活用してもよい。

【0060】

ＲｅｓＮＥＴモデルは、Ｍｉｃｒｏｓｏｆｔ社が開発した高性能な多段階人工ニューラルネットワークモデルであり、性能向上のために複数段階のニューラルネットワークを形成する場合に発生する精度低下の問題を、Ｒｅｓｉｄｕａｌｌｅａｒｎｉｎｇという段階的な入力と出力との差を学習に活用する方法で解決する。ＩｍａｇｅＮｅｔは、画像内のオブジェクトを認識するソフトウェア開発のための大規模なデータベースであり、ｐｒｅ－ｔｒａｉｎｅｄｗｅｉｇｈｔは、このデータに基づいて特定の条件に対して重み（ｗｅｉｇｈｔｓ）を付けられるように学習した初期人工知能モデル条件を意味する。ｍＩｏＵ（ｍｅａｎＩｎｔｅｒｓｅｃｔｉｏｎｏｖｅｒＵｎｉｏｎ）は、デジタル画像解析モデルの評価のための方法論の一つで、目標と予測結果との間の共通ピクセル数を総ピクセル数で割って結果の一致率を定量化する方法であり、Ｃｒｏｓｓ－Ｅｎｔｒｏｐｙｌｏｓｓは、デジタル解析モデルの評価方法論の一つであって、エントロピーベースの損失関数を用いて目標データの確率分布と予測されたモデル結果データの確率分布との差を評価する。Ｆｏｃａｌｌｏｓｓは、デジタル解析モデルの評価方法論の１つであり、解析が簡単なサンプルデータが全体予測モデル学習に与える影響を低減し、解析が難しいサンプルに集中できるように重み付けするパラメータを活用して評価する方法である。

【0061】

肌の特性上、ほとんどの状況では一般的な肌領域が多く、病変領域が少ない環境（ｉｍｂａｌａｎｃｅｄｄａｔａ）であるので、スムーズな学習のために各ラベルの頻度数（ｆｒｅｑｕｅｎｃｙ）を測定し、損失（ｌｏｓｓ）計算時にそれを反映させる学習方法を用いる。項目ごとに診断モデルが分離されているため、個々の特性が最適化され、項目ごとの重複診断などが可能である。さらに、別の顔画像匿名化モデルを適用することで、顔認識モデルだけでは除去するのが難しい個人識別データなど、診断情報に対する個人情報保護などのセキュリティ問題にも対応できる。

【0062】

図８は、本出願の一実施形態による、複数の人工ニューラルネットワークモデルのそれぞれが肌を診断する主な項目をまとめた表である。

【0063】

図８を参照すると、シワを診断するシワモデルは、シワが検出された総個体数と、シワが検出された個体における周囲の未検出領域に対する強度（深さ）推定と、シワが検出された総面積と、検出されたシワの長さ及び幅とを含むパラメータを調整することで学習し、シワの数、シワの強度（深さ）、シワの面積、シワの長さと幅、シワの強度や面積、長さ、幅ごとの分布状態及びシワスコアの解析結果を出力してもよい。

【0064】

色素沈着を診断する色素沈着モデルは、色素沈着が検出された総個体数と、色素沈着が検出された個体から周囲の未検出領域に対する強度推定と、色素沈着が検出された総面積とを含むパラメータを調整することで学習し、色素沈着の数、色素沈着の強度、色素沈着の面積、色素沈着の強度や面積ごとの分布状態及び色素沈着スコアに対する解析結果を出力してもよい。

【0065】

毛穴を診断する毛穴モデルは、毛穴が検出された総個体数と、毛穴が検出された個体における周囲の未検出領域に対する強度（深さ）推定と、毛穴が検出された総面積及び毛穴の長さ、毛穴の幅を含むパラメータを調整することで学習され、毛穴の数、毛穴の深さ、毛穴の面積、毛穴の長さと幅、毛穴のたるみ（長さと幅の割合）、毛穴の強度や面積、長さ、幅、たるみ別分布状態及び毛穴スコアの解析結果を出力してもよい。

【0066】

紅斑を診断する紅斑モデルは、紅斑が検出された総個体数と、紅斑が検出された個体における周囲の未検出領域に対する強度推定と、紅斑が検出された総面積とを含むパラメータを調整することで学習し、紅斑の数、紅斑の強度、紅斑の面積、紅斑の強度や面積ごとの分布状態、及び紅斑スコアに対する解析結果を出力してもよい。

【0067】

老化診断モデルは、顔画像から推定される顔の老化または顔の肌の年齢に関する解析結果を出力してもよい。

【0068】

さらに、顔認識モデルは、顔画像で匿名化処理を行った後に検出された肌領域の大きさである顔サイズを出力してもよい。

【0069】

図９Ａ～図９Ｄは、本出願の一実施形態による、匿名化モデル及び複数の人工知能ニューラルネットワークモデルの項目ごとの診断結果を匿名化前状態の画像に再構成した画像である。

【0070】

図９Ａ～図９Ｄを参照すると、肌診断システム１は、肌画像における各症状を診断解析し、実際の肌状態症状の細部個体ごとの位置と形状、深化度合を定量的に導出することができ、各症状の数や平均サイズ、形状、全体的な面積や症状の強度などを解析することができ、得られた情報を活用して再び肌画像に診断内容を強調する可視化情報を提供してもよい。

【0071】

また、個人情報処理匿名化モデル、シワ、色素沈着、毛穴、紅斑を含む各診断症状モデルなどで分離構成されており、特性ごとに最適化及び機能分離・調整が可能であって、重複した診断及び効率的なシステム管理・運用が可能である。

【0072】

図１０Ａ～図１０Ｄは、本出願の一実施形態による、匿名化モデルによって匿名化処理を行った場合の複数の人工知能ニューラルネットワークモデルの項目ごとの診断画像である。

【0073】

図１０Ａ～図１０Ｄのそれぞれは、図９Ａ～図９Ｄのそれぞれの原本を匿名化モデルにより匿名化処理を行った後、色素沈着モデル、毛穴モデル、シワモデル及び紅斑モデルを用いて該当項目の領域に視覚化した画像である。図１０Ａ～図１０Ｄを参照すると、匿名化モデルは、原本である顔画像から特徴点及び背景を分離し、前記特徴点を含む肌の形状を除去し、前記特徴点が除去された顔画像を複数のパッチに分割するステップと、前記複数のパッチをランダム化して再配置するステップと、を備えてもよい。

【0074】

図１１Ａ～図１１Ｄは、本出願の一実施形態による、加齢に伴う肌診断項目ごとの診断結果の相関性を示すグラフである。

【0075】

図１１Ａ～図１１Ｄを参照すると、様々な年齢層及び肌条件の韓国人を対象に本出願の整合性及び解析活用性をチェックし、新たな肌特性解析及び洞察導出を進めるために、様々な年齢の顔の肌画像を活用して年齢ごとの肌特性を診断解析した。一実施形態において、１４～６９歳の韓国人女性を各年齢層２０人、計１２０人の顔画像を対象とした。図１１Ａを参照すると、一般肌グループの女性１２０人の画像を解析したところ、シワの場合、いずれもシワ数が加齢に伴って増加する相関性を示し、全体的に３０代、５０代変化区間で発生が加速される様相を示した。

【0076】

図１１Ｂを参照すると、色素沈着の場合、色素沈着の総面積は、加齢に伴って増加する相関性を示し、３０代で大きく増加してから、４０代では停滞し、再び５０代区間で発生がさらに増加する様相を示した。

【0077】

図１１Ｃを参照すると、紅斑（トラブル）の場合、平均サイズや総面積が加齢に伴って減少する相関性を示し、全体的に低い１０～２０代など低年齢で高く発生し、３０～４０代まで減少して以来一部増加する様相を示し、老化ではなく低年齢の一時的なトラブルの影響が大きいと判断された。

【0078】

毛穴の場合、毛穴の数／平均サイズ／総面積は、加齢と共に増加し、強度（深さ）は減少する相関性を示した。図１１Ｄを参照すると、毛穴数は全体的に増加するが、５０代で渋滞する様相を示した。

【0079】

図１２Ａ及び図１２Ｂは、本出願の一実施形態による、本出願を用いて抗老化製品の評価研究結果を解析したグラフである。

【0080】

図１２Ａ及び図１２Ｂを参照すると、肌診断システム１は、前記項目に対する肌診断結果に基づいて、特定の製品に対する抗酸化効果及び美白効果のうち少なくとも１つを評価してもよい。肌診断システム１は、専門家評価とは異なり、同じ基準で微細な変化や大量の繰り返し追跡観察に対応可能であり、画像のみで様々な項目の定量的な評価及び可視化が可能であるため、肌の変化研究及び化粧品の効能評価に活用することができ、顧客アフターサービスやより信頼性の高い顧客コミュニケーションコンテンツの作成などに役立てるはずである。

【0081】

一実施形態において、抗老化効能が実証されたレチノール製品の長期間の肌追跡研究結果の画像で肌診断を行ったところ、４年の追跡観察期間中、製品未使用群では色素沈着とシワ数が増加または維持されたことに対して、製品使用群では有意な肌改善効果が確認された。それは、別々の臨床測定評価結果と同じ結果であって、より細かく定量化された評価結果を提供することができた。

【0082】

図１３Ａ及び図１３Ｂは、本出願の一実施形態による、本出願を用いて美白製品の評価研究結果を解析したグラフである。

【0083】

図１３Ａ及び図１３Ｂを参照すると、美白製品の効力評価に肌診断システム１を適用したところ、３，４，５－トリメトキシケイヒ酸チモールエステル（３，４，５－ｔｒｉｍｅｔｈｏｘｙｃｉｎｎａｍａｔｅｔｈｙｍｏｌｅｓｔｅｒ；ＴＣＴＥ）含有製品を用いた試験参加者の色素沈着の大きさと面積が４週間後に有意に減少したことを確認でき、これは、実際の人体適用試験の結果と一致した。よって、深層学習を用いた肌診断は、画像撮影だけでも医薬品評価よりも微細で様々な項目の変化を評価しなければならない化粧品の効能評価にも好適に使用できると判断された。

【0084】

図１４は、本出願の一実施形態による、問診によって被験者の肌の悩み及びライフスタイルに関する情報を取得する過程を示す図である。

【0085】

図１４を参照すると、肌診断システム１は、匿名化処理された顔画像を複数の人工ニューラルネットワークモデルにそれぞれ入力することとは別に、問診によって前記被験者の肌の悩み及びライフスタイルに関する情報を取得してもよい。肌診断結果は、前記被験者の肌の悩み及びライフスタイルに関連した結果であってもよい。肌診断システム１は、問診で取得した情報を用いて、被験者の肌に関する関心事に集中し、具体化して診断結果を提供してもよい。

【0086】

肌診断システム１は、前記肌診断結果に基づいて、被験者の肌の悩み及びライフスタイルに合わせた特定の製品を推薦するか、あるいは美容食生活を提供してもよい。

【0087】

一実施形態において、肌診断システム１は、色素沈着、毛穴、紅斑、及びシワの項目ごとに被験者の肌状態解析結果を提供する。また、問診によって得られた情報を用いて被験者の肌の悩みに対するコメントを提供し、クレンジングまたはライフスタイルに関連したアドバイスを提供する。被験者の肌の状態に応じたカスタマイズされたスキンケア方法とともに、各肌の状態に適した化粧品を推奨してもよい。

【0088】

これらの深層学習を用いた画像解析に基づく肌診断システム及び方法によれば、顔の位置及び特徴点認識モデルと、個人情報処理匿名化モデルと、シワ、色素沈着、毛穴、紅斑、及び老化の診断を含む診断症状ごとのモデルとなどで分離構成されており、特性ごとに最適化や機能分離・調整が可能で、重複した診断や効率的なシステム管理・運用が可能である。

【0089】

【0090】

【0091】

【0092】

前述の実施形態による画像解析に基づく肌診断システム及び方法による動作は、少なくとも部分的にコンピュータプログラムで実装され、コンピュータ可読記憶媒体に記憶されてもよい。例えば、プログラムコードを含むコンピュータ可読媒体からなるプログラム製品と共に実装され、それは、前述の任意のまたはすべてのステップ、動作、またはプロセスを行うためのプロセッサによって行われてもよい。

【0093】

前記コンピュータ可読記憶媒体は、コンピュータによって読み取ることができるデータが記憶されるあらゆる種類の記録装置を含む。コンピュータ可読記憶媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置などが挙げられる。また、コンピュータ可読記憶媒体は、ネットワークで接続されたコンピュータシステムに分散され、分散方式でコンピュータが読み取り可能なコードが格納されて実行されてもよい。さらに、本実施形態を実装するための機能的なプログラム、コード及びコードセグメント（ｓｅｇｍｅｎｔ）は、本実施形態が属する技術分野における通常の技術者であれば容易に理解できるであろう。

【0094】

以上、本出願は、図面に示した実施形態を参考にして説明したが、これは例示的なものに過ぎず、当分野における通常の知識を有する者であれば、それから様々な変形及び実施形態の変形が可能であることが理解されるであろう。しかしながら、そのような変形は、本出願の技術的保護範囲内に属すると見なされるべきである。よって、本出願の真の技術的保護範囲は、添付の特許請求の範囲の技術的思想によって定められるべきである。

【産業上の利用可能性】

【0095】

【図1】