特許 7505714 褥瘡痕を含む皮膚のＡＩ肌解析方法、装置、またはシステム、およびスキンユニット同定ＡＩモデル

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-17

(45)【発行日】2024-06-25

(54)【発明の名称】褥瘡痕を含む皮膚のＡＩ肌解析方法、装置、またはシステム、およびスキンユニット同定ＡＩモデル

(51)【国際特許分類】

   A61B 5/00 20060101AFI20240618BHJP

   G06T 7/00 20170101ALI20240618BHJP

【ＦＩ】

A61B5/00 M

G06T7/00 350C

【請求項の数】 9

(21)【出願番号】P 2022076804

(22)【出願日】2022-05-08

(65)【公開番号】P2023166041

(43)【公開日】2023-11-20

【審査請求日】2022-10-08

【審判番号】

【審判請求日】2023-05-16

【早期審査対象出願】

(73)【特許権者】

【識別番号】318015644

【氏名又は名称】宍戸 知行

(73)【特許権者】

【識別番号】321003201

【氏名又は名称】徳重 大輔

(74)【代理人】

【識別番号】100125988

【弁理士】

【氏名又は名称】宍戸 知行

(72)【発明者】

【氏名】宍戸 知行

(72)【発明者】

【氏名】小野 靖弘

(72)【発明者】

【氏名】徳重 大輔

【合議体】

【審判長】石井 哲

【審判官】萩田 裕介

【審判官】松本 隆彦

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０３６６１１９（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１１１６６２９０（ＣＮ，Ａ）

【文献】中国特許出願公開第１０４２９９０１１（ＣＮ，Ａ）

【文献】特開２０１２－２４９９１７（ＪＰ，Ａ）

【文献】中国特許出願公開第１０７６９２９９７（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

A61B 5/00-5/22

(57)【特許請求の範囲】

【請求項1】

AI肌解析方法であって、コンピュータが、肌を含む画像をデータベースまたは保存部に入力する入力工程と、
前記肌を含む画像から一又は複数のスキンユニットをAIで同定する同定工程と、
前記スキンユニット内の一又は複数の特徴を解析する解析工程と、
前記解析の結果を表示する表示制御工程と、を含み、
前記スキンユニットは、ＡＩモデルで直接的に推論した結果の皮膚領域であり、
前記一又は複数のスキンユニットが身体部位に特異的で、
前記身体部位が褥瘡痕のある臀部および／または足首の皮膚領域も含む、AI肌解析方法。

【請求項2】

前記スキンユニット内の前記一又は複数の特徴がAIモデルを利用して同定される、請求項1に記載の方法。

【請求項3】

前記一又は複数の特徴が、シミ数、毛穴数、角層水分量、肌荒れSU見た目グレード、透明感SU見た目グレード、シミSU見た目グレード、くすみSU見た目グレード、赤むらSU見た目グレード、ニキビSU見た目グレード、毛穴の開きSU見た目グレード、毛穴の黒ずみSU見た目グレード、キメの粗さSU見た目グレード、シワSU見た目グレード、およびハリSU見た目グレードからなる群より選択される一又は複数の特徴である、請求項1に記載の方法

【請求項4】

前記一又は複数の特徴が角層水分量であり、前記角層水分量が可視光画像データから推測される、請求項1に記載の方法。

【請求項5】

前記角層水分量が分類タイプのAIモデルで処理することにより推測される、請求項4に記載の方法。

【請求項6】

コンピュータが、肌を含む画像をデータベースまたは保存部に入力する入力部と、
一又は複数のスキンユニットをAIで同定する同定部と、
前記スキンユニット内の一又は複数の特徴を解析する解析部と、
前記解析の結果を表示する表示制御部と、を含み、
前記スキンユニットは、ＡＩモデルで直接的に推論した結果の皮膚領域であり、
前記一又は複数のスキンユニットが身体部位に特異的で、
前記身体部位が褥瘡痕のある臀部および／または足首の皮膚領域も含む、AI肌解析装置。

【請求項7】

コンピュータが、肌を含む画像をデータベースまたは保存部に入力する入力部と、
一又は複数のスキンユニットをAIで同定する同定部と、
前記スキンユニット内の一又は複数の特徴を解析する解析部と、
前記解析の結果を表示する表示制御部と、を含み、
前記スキンユニットは、ＡＩモデルで直接的に推論した結果の皮膚領域であり、
前記一又は複数のスキンユニットが身体部位に特異的で、
前記身体部位が褥瘡痕のある臀部および／または足首の皮膚領域も含む、AI肌解析システム。

【請求項8】

肌を含む画像データを入力する入力層と、
ニューラルネットワークからなり入力データを処理する中間層と、
一又は複数のスキンユニットを出力する出力層と、を含み、
請求項1、6、または7に記載の方法、装置、またはシステムで使用される学習済みスキンユニット同定AIモデル。

【請求項9】

入力された肌を含む画像データに対応する一又は複数のスキンユニットを出力するよう、コンピュータを機能させるための、請求項8に記載の学習済みスキンユニット同定AIモデル。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＡＩ肌解析方法、装置、またはシステム、およびスキンユニット同定ＡＩモデル訓練方法または肌特徴解析ＡＩモデル訓練方法、並びに学習済みスキンユニット同定ＡＩモデルまたは学習済み肌特徴解析ＡＩモデルに関する。

【背景技術】

【0002】

皮膚の画像を解析して情報を得ることは美容分野だけでなく、メディカル用途にも広く応用されている。皮膚の検査目的の各種医療機器が知られている。

【0003】

特許文献１は、医療用皮膚検査装置に関し、「皮膚病変を診断する医療用皮膚検査装置であって、ダーモスコープを介して撮影されたダーモスコピー構造物に係るオリジナルな第１の皮膚画像を保存する第一保存部と、前記第１の皮膚画像に高ダイナミックレンジ（ＨＤＲ）を適用して、前記ダーモスコピー構造物をクリアーで目立たせた第２の皮膚画像を得る画像変換部と、前記第２の皮膚画像を保存する第二保存部と、制御を実行して前記第１の皮膚画像と前記第二の皮膚画像の少なくとも一つを表示する表示制御部とを備えることを特徴とする医療用皮膚検査装置」を開示する。

【0004】

また、皮膚画像の解析には最近はＡＩモデルを使用する方法が取り入れられている。
特許文献２は、様々な型の皮膚病変の検出と分類のためのシステム、方法、装置、およびコンピュータープログラム製品に関し、ＡＩを利用して様々な型の皮膚病変の検出と分類を行う。請求項１は「皮膚病変を検出および分類するための皮膚異常の画像データを使用する方法であって、ユーザーの皮膚異常の画像を受信し、前記皮膚異常の前記画像は複数の検証済み皮膚病変画像を含む既存の訓練セット由来の訓練データセットを使用し学習された人工知能（ＡＩ）モデルへの入力として使用可能であり、二値化分類器を前記皮膚異常の前記画像に適用して、前記皮膚異常の前記画像が皮膚病変を示す十分なデータを含むかどうかを決定する工程等」を含む。

【0005】

従来、皮膚解析は医用だけでなく、美容分野で広く研究がなされてきた。特にＳＵ見た目グレードに関しては訓練されたエキスパートに代替する機械的手法が開発されている。
特許文献３は、皮膚の透明感評価方法に関し、「皮膚表面にＰ偏光を入射させてＳ偏光成分の反射光を受光するとともに、皮膚表面にＳ偏光を入射させてＰ偏光成分の反射光を受光し、得られる該Ｓ偏光成分および該Ｐ偏光成分の２つの反射光の反射率の合計値に基づいて皮膚の透明感を評価することを特徴とする美容のための皮膚の透明感評価方法」を開示する。

【0006】

特許文献４はしみ・そばかす評価方法に関し、「対象となる皮膚領域のしみ・そばかすを美容上の観点から評価するしみ・そばかす評価方法であって、該皮膚領域のなかで最も目立つしみ・そばかすを特定し、該特定したしみ・そばかすを機器を用いて定量化した色情報データに基づいて、該皮膚領域全体のしみ・そばかすの目立ち程度を判定することを特徴とするしみ・そばかす評価方法」を開示する。

【0007】

また、皮膚解析においては、皮膚の角層水分量を推定するやり方が研究され、近赤外線画像を利用する方法が開発されている。
特許文献５は、唇部分の皮膚の水分量を効果的に測定できる方法および装置に関し、「被検者の唇の皮膚の水分量を定測定する方法であって、近赤外領域おいて撮影された前記被検者の唇を含む顔画像を取得する顔画像取得ステップと、前記顔画像取得影ステップにより取得した前記顔画像から前記被検者の唇の特定の測定領域を抽出する測定領域抽出ステップと、前記測定領域において計測された信号強度の平均値に基づき、前記被検者の唇の皮膚の水分量を定量する定量ステップとを含む、方法」を開示する。

【0008】

さらに現在、スマホで簡単に高精度な肌診断ができるアプリや技術が開示されている（非特許文献１、特許文献６）。また、各化粧品会社はヒトの感性も学習した肌評価ＡＩを開示する（例、「Ｋｉｒｅｉ肌ＡＩ」（非特許文献２）（花王株式会社）、「肌パシャ」（非特許文献３）（資生堂））。さらにまた、「化粧ノリの色彩度合いをａｉ判断で画像に表示する計測方法」も開示されている（特許文献７）。

【先行技術文献】

【特許文献】

【0009】

【文献】米国出願公開第２０１５／０２２１０８７号公報

【文献】米国出願公開第２０２１／０１１８１３３号公報

【文献】特許第４１０５５５４号

【文献】特許第３７３４７４１号

【文献】特開２０２１－１７１３６５号公報

【文献】特許第６９４７４６０号

【文献】特許第６６１６５４１号

【非特許文献】

【0010】

【文献】https://aismiley.co.jp/ai_news/novera-develops-highly-accurate-skin-diagnostic-function/

【文献】https://www.toonippo.co.jp/articles/-/785622

【文献】https://www.shiseido.co.jp/sw/hadapasha/pc.html

【発明の概要】

【発明が解決しようとする課題】

【0011】

しかしながら、上記技術では規格化された皮膚ユニットを同定し、その皮膚ユニット内の情報を解析する思想や技術は開示されていない。

【0012】

特許文献１では、オリジナルな第１の皮膚画像を入力し、前記第１の皮膚画像の輝度成分を骨格成分と詳細成分に分離する分離部により皮膚部分を同定しているが、オリジナルな皮膚画像から規格化された皮膚ユニットを同定分離するものではない。また、ＡＩモデルで皮膚画像を処理して解析領域を定めるものでもない。

【0013】

特許文献２では、ＡＩを利用して様々な型の皮膚病変の検出と分類を行う。ユーザーの皮膚異常の画像を受信し、前記皮膚異常の前記画像は人工知能（ＡＩ）モデルへの入力として使用可能であり、二値化分類器を前記皮膚異常の前記画像に適用して、前記皮膚異常の前記画像が皮膚病変を示す十分なデータを含むかどうかを決定する工程を含むが、規格化されたスキンユニットを使用するものではない。また、その皮膚異常画像が皮膚病変を含むかどうかを二値化分類器で解析するので、規格化されたスキンユニットをＡＩモデルで分離する思想は開示も示唆もされていない。また、皮膚病変に特化したものであり、皮膚状態の各種パラメータを提供する目的ではない。

【0014】

特許文献３と４は、皮膚の透明感やしみ・そばかす評価方法であって、従来エキスパートの人的評価で処理してきた工程を機械的処理で代替するものである。ＳＵ見た目グレードに関する人的評価を機械的処理に置き換える思想や技術が開示されているが、ＡＩモデルを使用して皮膚画像からＳＵ見た目グレード評価を得る思想や技術は記載も示唆もされていない。

【0015】

特許文献５には、唇部分の皮膚の水分量を効果的に測定できる方法および装置が開示され、被検者の唇を含む顔画像を取得する顔画像取得ステップと、前記顔画像取得影ステップにより取得した前記顔画像から前記被検者の唇の特定の測定領域を抽出する測定領域抽出ステップが開示されている。しかしながら、唇の特定の測定領域を抽出する測定領域抽出ステップで抽出される測定領域が、規格化された皮膚ユニットとしてＡＩモデルを使用して抽出される思想も技術も開示されていない。また、測定画像は近赤外領域おいて撮影された画像に限定されており、可視光領域の画像を利用するものではない。さらに、皮膚水分量を分類タイプのＡＩモデルで評価する思想も開示されていない。

【0016】

非特許文献１～３と特許文献6～７は肌を含む画像から各種皮膚の特徴量を、ＡＩモデルを使用して提示する技術が開示されているが、皮膚を含む画像から規格化されたスキンユニットをＡＩモデルで抽出し、そのスキンユニットの肌の特徴量を解析する思想や技術は開示されていない。また、皮膚水分量を可視光画像から分類タイプのＡＩモデルで解析する思想の示唆も開示もない。

【0017】

本発明の課題は、肌を含む画像から一又は複数の規格化されたスキンユニットを同定し、ＡＩモデルを使用して、各種スコア評価、毛穴数、シミ数、または角層水分量等を推定することを可能とする方法、装置、またはシステムを提供することである。

【課題を解決するための手段】

【0018】

上記の目的を達成するために、本発明は、以下の（１）～（１７）を提供する。

【0019】

本発明の第一観点では、以下の（１）～（９）のＡＩ肌解析方法が提供される。
（１）ＡＩ肌解析方法であって、
コンピュータが、肌を含む画像をデータベースまたは保存部に入力する入力工程と
前記肌を含む画像から一又は複数の規格化されたスキンユニットを同定する同定工程と、
前記スキンユニット内の一又は複数の特徴を解析する解析工程と、
前記解析の結果を表示する表示制御工程と、を含むＡＩ肌解析方法。
（２）前記一又は複数の規格化されたスキンユニットがＡＩモデルを利用して同定される、（１）に記載の方法。
（３）前記一又は複数の規格化されたスキンユニットが身体部位に特異的な、（１）または（２）に記載の方法。
（４）前記身体部位が顔の一又は複数の領域である、（３）に記載の方法。
（５）前記顔の一又は複数の領域が、目尻領域、目下領域、鼻領域、口元領域、及び頬領域からなる群より選択される一又は複数の領域である、（４）に記載の方法。
（６）前記スキンユニット内の前記一又は複数の特徴がＡＩモデルを利用して同定される、（１）に記載の方法。
（７）前記一又は複数の特徴が、シミ数、毛穴数、角層水分量、肌荒れＳＵ見た目グレード、透明感ＳＵ見た目グレード、シミＳＵ見た目グレード、くすみＳＵ見た目グレード、赤むらＳＵ見た目グレード、ニキビＳＵ見た目グレード、毛穴の開きＳＵ見た目グレード、毛穴の黒ずみＳＵ見た目グレード、キメの粗さＳＵ見た目グレード、シワＳＵ見た目グレード、およびハリＳＵ見た目グレードからなる群より選択される一又は複数の特徴である、（１）に記載の方法。
（８）前記角層水分量が可視光画像データから推測される、（７）に記載の方法。
（９）前記角層水分量が分類タイプのＡＩモデルで処理することにより推測される、（７）に記載の方法。

【0020】

本発明の第二の観点では、以下の（１０）のＡＩ肌解析装置が提供される。

【0021】

（１０）コンピュータが、肌を含む画像をデータベースまたは保存部に入力する入力部と
一又は複数の規格化されたスキンユニットを同定する同定部と、
前記スキンユニット内の一又は複数の特徴を解析する解析部と、
前記解析の結果を表示する表示制御部と、を含むＡＩ肌解析装置。

【0022】

本発明の第三の観点では、以下の（１１）のＡＩ肌解析システムが提供される。

【0023】

（１１）コンピュータが、肌を含む画像をデータベースまたは保存部に入力する入力部と
一又は複数の規格化されたスキンユニットを同定する同定部と、
前記スキンユニット内の一又は複数の特徴を解析する解析部と、
前記解析の結果を表示する表示制御部と、を含むＡＩ肌解析システム。

【0024】

本発明の第四の観点では、以下の（１２）のスキンユニット同定ＡＩモデル訓練方法が提供される。

【0025】

（１２）規格化されたスキンユニットを教師データとして使用してＡＩモデルを訓練する工程を含む、スキンユニット同定ＡＩモデル訓練方法。

【0026】

本発明の第五の観点では、以下の（１３）の肌特徴解析ＡＩモデル訓練方法が提供される。

【0027】

（１３）規格化されたスキンユニット内の皮膚特徴量を教師データとして使用してＡＩモデルを訓練する工程を含む、肌特徴解析ＡＩモデル訓練方法。

【0028】

本発明の第六の観点では、以下の（１４）～（１５）の学習済みスキンユニット同定ＡＩモデルが提供される。
（１４）肌を含む画像データを入力する入力層と、
ニューラルネットワークからなり入力データを処理する中間層と、
一又は複数の規格化されたスキンユニットを出力する出力層と、を含み、
（１）、（１０）、または（１１）に記載の方法、装置、またはシステムで使用される学習済みスキンユニット同定ＡＩモデル。
（１５）入力された肌を含む画像データに対応する一又は複数の規格化されたスキンユニットを出力するよう、コンピュータを機能させるための、（１４）に記載の学習済みスキンユニット同定ＡＩモデル。

【0029】

本発明の第七の観点は、以下の（１６）～（１７）の学習済み肌特徴解析ＡＩモデルを提供する。
（１６）スキンユニットを入力する入力層と、
ニューラルネットワークからなり入力データを処理する中間層と、
（７）に記載の一又は複数の特徴の解析結果を出力する出力層と、を含み、
スキンユニットの特徴を解析できる学習済み肌特徴解析ＡＩモデル。
（１７）入力されたスキンユニットデータに対応する一又は複数の特徴を出力するよう、コンピュータを機能させるための、（１６）に記載の学習済み肌特徴解析ＡＩモデル。

【発明の効果】

【0030】

本発明の一態様によれば、被験者（例、ユーザー）のＡＩ肌解析ができるという効果を生じる。

【図面の簡単な説明】

【0031】

【図1】本発明の一実施形態のＡＩ肌解析装置またはシステムの概略図である。

【図2】本発明の一実施形態のＡＩ肌解析方法の工程を示すフローチャートである。

【図3】本発明の一実施形態の方法でのスキンユニット同定を示す図である。図３Ａは学習済みスキンユニットＡＩモデルを使用して同定されたスキンユニットを示す。図３Ｂはスキンユニットの拡大図である。トレーニング時には各スキンユニットは３００×３００ピクセル又は６００×６００ピクセルにリサイズされて用いた。図３Ｃは足首部分（過去の褥瘡の傷跡あり）の画像からスキンユニットがＡＩモデルを使用して同定できたことを示す図である。図３Ｄは、臀部（過去の褥瘡の傷跡あり）の画像からスキンユニットがＡＩモデルを使用して同定できたことを示す図である。

【図4】本発明の一実施形態の方法での、顔面領域中の規格化された特定スキンユニット（Ｓ０：目尻スキンユニット、Ｓ１：目下スキンユニット、Ｓ２：鼻肌スキンユニット、Ｓ３：口元スキンユニット、Ｓ４：頬スキンユニット）が認識できたことを示す図である。

【図5】本発明の一実施形態の方法で、スキンユニット内の肌状態のＳＵ見た目グレード評価のトレーニングが可能であることを示すグラフである。Ａ．肌荒れ＿ＳＵ見た目グレード、Ｂ．透明感＿ＳＵ見た目グレード、Ｃ．シミ＿ＳＵ見た目グレードを示す。図５ＤとＥは比較例１であり、顔面画像（Ｄ：３００×３００ピクセル、Ｅ：６００×６００ピクセルの画像）を使用して、肌荒れ＿見た目グレードをトレーニングした結果を示す。

【図6】本発明の一実施形態の方法での、スキンユニット内の毛穴数とシミ数がＡＩモデルを使用して同定／計数できることを示す図である。図６Ａは、毛穴数・シミ数ＡＩモデルの訓練の状態（ｍＡＰ＿０．５、ｐｒｅｃｉｓｉｏｎ、ｒｅｃａｌｌ）を示すグラフである。図６Ｂは、１２枚のテストデータであるスキンユニット内で毛穴（ｖａ０）とシミ（ｖａ１）が複数個同定できたことを示すスキンユニット画像である。

【図7】本発明の一実施形態の水分量予測ＡＩモデルのトレーニング結果を示すグラフである。図７は、分類タイプの水分量予測ＡＩモデルのトレーニング結果を示す。

【発明を実施するための形態】

【0032】

以下、本発明の実施形態について、図面を参照して詳細に説明する。

【0033】

用語と定義
本明細書中では、用語「スキンユニット」は、規格化された皮膚領域を含む。「規格化」は、トレーニングデータ作成中の、例えばバウンディングボックスのサイズを統一して得られる一又は複数の領域を用いて実施される場合があり、ＡＩモデルで推論した結果のスキンユニット領域が、トレーニングデータで設定された領域のサイズ（長辺または短辺の長さ）と比べ、好ましくは５倍以下、より好ましくは４倍以下、さらに好ましくは３倍以下、およびさらに好ましくは２倍以下であるもの、および、好ましくは５分の１以上、より好ましくは４分の１以上、さらに好ましくは３分の１以上、およびさらに好ましくは２分の１以上であるものを指す。スキンユニットは規格化された皮膚領域であればその形状は限定されず、任意の形状（例、長方形、正方形、円、菱形）が使用可能である。また、本明細書中では「スキン」「皮膚」「肌」は互換的に用いられる。

【0034】

本明細書中では、用語「ＳＵ（スキンユニット）見た目グレード」は、一般のヒトの試験者や訓練されたエキスパートが視覚的に感じる評価を含む。その評価は、任意ではあるがグレードとしてラベル化されたものであってもよい。ラベル化は、好ましくは数値（例、０，１，２，３，４，５等）で示されるが、限定はされない。

【0035】

本明細書中では、用語「水分量」は、皮膚の水分量、好ましくは角層水分量を含む。実際の水分量の同定（実測値）する方法には任意の従来法が含まれ、限定はされないが、キャパシタンス法（静電容量法）、コンダクタンス法（電導度）、カールフィッシャー法が挙げられる。実際の水分量の同定（実測値）は計測機器を用い実施される場合があるが、その計測機器は水分量が計測できる限り、限定はされない。水分量の値は任意の尺度（Ａ．Ｕ．）が使用可能である。

【0036】

実施形態１：ＡＩ肌解析方法
実施形態１は、
ＡＩ肌解析方法であって、
コンピュータが、肌を含む画像をデータベースまたは保存部に入力する入力工程と
前記肌を含む画像から一又は複数の規格化されたスキンユニットを同定する同定工程と、
前記スキンユニット内の一又は複数の特徴を解析する解析工程と、
前記解析の結果を表示する表示制御工程と、を含むＡＩ肌解析方法である。

【0037】

本ＡＩ肌解析方法は、リアルまたはバーチャルなハードウエア資源上で実行されるソフトウエアとして設置可能である。例えば、アプリケーションまたはＷｅｂアプリケーションとして装置／サーバー上にデプロイされる。Ｗｅｂアプリケーションは任意のフロントエンドおよびバックエンドにより構成される。

【0038】

使用されるデータベースまたは保存部は特に限定されず、使用可能なものなら任意のものが用いられる。データベースの種類には、階層型、ＮｏＳＱＬ、リレーショナル型、ネットワーク型等が挙げられる。具体的には、ＭｙＳＱＬ、ＭａｒｉａＤＢ、ＳＱＬｉｔｅ、Ａｍａｚｏｎ Ａｕｒｏｒａ、ＰｏｓｔｇｒｅＳＱＬ、Ｏｒａｃｌｅ Ｄａｔａｂａｓｅ、ＭｏｎｇｏＤＢ、Ｍｉｃｒｏｓｏｆｔ ＳＱＬ Ｓｅｒｖｅｒ等が挙げられるが、これらに限定はされない。また、入力される対象の皮膚を含む画像のデータを保存するデータベース（例、図１のデータベース２０）とスキンユニットの同定やスキンユニット内の皮膚特徴量を解析したり、その解析結果を表示したりするのに用いるデータベース（例、図１のデータベース２０）は同じであってもよいし、異なっていてもよい。どちらにしても特異的なテーブルを個別に用意するので、両者のデータは区別して管理可能である。さらに、本発明では、データベースまたは保存部には一時的または永続的にメモリ等に保存される場合の保存場所も含まれる。

【0039】

入力、送信、同定、解析、表示に用いられる言語は、フレームワークに依存する場合があるが、例えば、Ｐｙｔｈｏｎ、Ｊａｖａ、ＪａｖａＳｃｒｉｐｔ、ＰＨＰ、Ｓｗｉｆｔ、Ｋｏｔｌｉｎ、Ｆｌｕｔｔｅｒ、Ｄａｒｔ、Ｃ、Ｃ＋＋、Ａｒｄｕｉｎｏ、Ｒ等が用いられる。同定部（図１の３０）および／または解析部（図１の４０）は、物理的ハードウエア（例、ＲＡＭ、ＲＯＭ、キャッシュ、ＳＳＤ、ハードディスク）上またはバーチャルな空間、例えば、クラウド上のＡＷＳ（Ａｍａｚｏｎ）、ＧＣＰ（Ｇｏｏｇｌｅ）、Ａｚｕｒｅ（Ｍｉｃｒｏｓｏｆｔ）等に設置されてもよいし、同じ場所にあってもよいし、異なる場所にデプロイされてもよい。

【0040】

コンピュータが、肌を含む画像をデータベースまたは保存部に入力する入力工程と、前記肌を含む画像から一又は複数の規格化されたスキンユニットを同定する同定工程と、前記スキンユニット内の一又は複数の特徴を解析する解析工程と、前記解析の結果を表示する表示制御工程とを介してＡＩ肌解析を実施する。以下、各工程要素を、図２を参照しながら詳細に説明する。

【0041】

（Ｉ）コンピュータが、肌を含む画像をデータベースまたは保存部に入力する入力工程（Ｓ１００：対象画像入力）
入力工程では、肌を含む画像（対象画像）をユーザーが入力し、その画像データをコンピュータがデータベースまたは保存部に入力する（図１の入力部１０）。肌を含む画像の種類は特に限定されず、様々なフォーマットの写真や画像データ（例、．ｊｐｇ、．ｐｎｇ、．ｈｅｉｃ、．ｔｉｆｆ）が含まれる。データベースや保存部（図１のデータベースまたは保存部２０）の種類は上記したものである。

【0042】

画像のデータ数は、例えば、１、２、３、４、５、１０、２０、３０、５０、１００、２５０、５００、１０００、２５００、５０００、１００００、２５０００、５００００、１０００００、１００００００、５００００００、１０００００００、１００００００００、または１０００００００００以上であってもよい。その数値は任意の上記２つの値の間であっても、その値以上、それより大きく、それ以下、またはそれ未満であってもよい。

【0043】

コンピュータのハードウエアとソフトウエア資源を利用して皮膚画像データをデータベースまたは保存部に登録保存する任意の方法が使用可能である。

【0044】

（ＩＩ）前記肌を含む画像から一又は複数の規格化されたスキンユニットを同定する同定工程（Ｓ２００：スキンユニット同定）
本工程では、前記肌を含む画像から一又は複数の規格化されたスキンユニットを同定（認識、検出）する（図１の同定部３０）。スキンユニットは規格化された皮膚領域であり、上記で定義されたものである。規格化されたスキンユニットは、画像内の肌部分の一部分のみからなる領域であってもよい。上記一部分は、特徴の解析対象となる部分であってもよい。一又は複数の規格化されたスキンユニットはＡＩモデルを利用して同定される場合がある。複数の規格化されたスキンユニットが好ましい。この場合、これら規格化されたスキンユニットは統計解析に供され、従って、スキンユニット内の特徴がより正確に定量化可能である。前記複数の規格化されたスキンユニットの数は、２、３、４、５、１０、又は１００個であってもよく、それらいずれかの値以上、又はそれらいずれか２つの値の範囲内であってもよい。実施例１で実際にＡＩモデル（ＹＯＬＯｖ５）を使用して一又は複数の規格化されたスキンユニットが効率的に同定できたことが実証され、スキンユニットの皮膚画像を解析して各種皮膚パラメータを定量的および統計的にも得ることができるという優れた効果を奏する。

【0045】

また、一又は複数の規格化されたスキンユニットは身体部位に特異的な規格化された領域である場合もある。実施例２では、顔の特定領域（目尻領域、目下領域、鼻領域、口元領域、または頬領域）のスキンユニットが効率的に検出できたことを実証する。これにより、部位特異的な皮膚領域の皮膚特徴量（皮膚パラメータ）の解析を可能とするという優れた効果を奏する。また、比較例１では肌を含む顔面画像を用いているが、特定の規格化された肌領域を選択的に利用するものではない。したがって、特定の皮膚領域の情報を得るためには、何らかの領域選択手段が必要であり、効率的に規格化された特定領域を同定分離する方法は知られていない。規格化されたスキンユニットを用いることで、その内部の皮膚特徴量が定量的および統計的に解析可能となるという顕著な効果を奏する。

【0046】

認識されたスキンユニットはトレーニングに用いた規格化されたバウンディングボックスによるスキンユニットのサイズ（長辺または短辺）が、好ましくは５倍以下、より好ましくは４倍以下、さらに好ましくは３倍以下、およびさらに好ましくは２倍以下であり、好ましくは５分の１以上、より好ましくは４分の１以上、さらに好ましくは３分の１以上、およびさらに好ましくは２分の１以上である。

【0047】

スキンユニットを効率的に認識できるスキンユニットＡＩモデルが構築できたことは優れた効果を奏する。

【0048】

（ＩＩＩ）前記スキンユニット内の一又は複数の特徴を解析する解析工程（Ｓ３００：皮膚特徴量解析）
本工程では、前記スキンユニット内の一又は複数の特徴を解析する（図１の解析部４０）。好ましくは、スキンユニット内の一又は複数の特徴がＡＩモデルを利用して同定される。好ましくは、一又は複数の特徴は、シミ数、毛穴数、角層水分量、肌荒れＳＵ見た目グレード、透明感ＳＵ見た目グレード、シミＳＵ見た目グレード、くすみＳＵ見た目グレード、赤むらＳＵ見た目グレード、ニキビＳＵ見た目グレード、毛穴の開きＳＵ見た目グレード、毛穴の黒ずみＳＵ見た目グレード、キメの粗さＳＵ見た目グレード、シワＳＵ見た目グレード、およびハリＳＵ見た目グレードからなる群より選択される一又は複数の特徴である。

【0049】

解析部は、装置またはアプリの内部から提供されてもよいし、ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）として外部から提供されていてもよい。前記ＡＰＩは、好ましくはＲＥＳＴ（ＲＥｐｒｅｓｅｎｔａｔｉｏｎａｌ Ｓｔａｔｅ Ｔｒａｎｓｆｅｒ）ｆｕｌ ＡＰＩである。

【0050】

好ましくは、実際に機器やヒトを介して得られた値をＡＩモデルの教師データとして使用する。これによりスキンユニットを使用したＡＩモデルのトレーニングが可能となり有用な肌特徴解析ＡＩモデルが可能となることが、実施例３～５で実証され、機器やヒトに頼らないでＡＩモデルにより皮膚の特徴量（皮膚パラメータ）を得ることができるという優れた効果が得られた。

【0051】

各種ＳＵ見た目グレード（例、肌荒れＳＵ見た目グレード、透明感ＳＵ見た目グレード、シミＳＵ見た目グレード、くすみＳＵ見た目グレード、赤むらＳＵ見た目グレード、ニキビＳＵ見た目グレード、毛穴の開きＳＵ見た目グレード、毛穴の黒ずみＳＵ見た目グレード、キメの粗さＳＵ見た目グレード、シワＳＵ見た目グレード、およびハリＳＵ見た目グレード）評価が機械（実際の測定機器）やヒトを介さずに得られることは時間的およびコスト的に顕著な効果がある。実施例３では、各種ＳＵ見た目グレードＡＩモデルを構築し、１２７０個のスキンユニットとそのエキスパートの平均評価を教師データとしてトレーニングを実施した。その結果、いずれのＳＵ見た目グレード評価もトレーニング過程は異なるが、正確度が約１になるまでトレーニングできた。このことにより、データ数を増やしてトレーニングすることにより、予測／推測値の精度が向上することが分かり、各種ＳＵ見た目グレードＡＩモデルが構築／実施可能なことを示す。

【0052】

また、実施例４では、スキンユニットを使用した毛穴数／シミ数ＡＩモデルを作成した。ベースモデルにはＹＯＬＯｖ５を用いた。スキンユニットに毛穴とシミをラベリングしたデータを教師データとしてモデルのトレーニングを行った。その結果、スキンユニット画像中の毛穴数とシミ数が精度高く検出できることを実証した。これにより、スキンユニット内の皮膚特徴量（毛穴数、シミ数）が機器やヒトを使用せずにＡＩモデルで計測でき、時間的およびコスト的に顕著な効果を奏することを示した。また、複数のスキンユニットの各値を統計処理（例、平均、加算）することによって、より有用で精度の高い値を得ることができる。

【0053】

また、好ましくは、角層水分量は可視光画像データから推測される。実施例５では、可視光皮膚画像を利用して分類タイプの水分量ＡＩモデルをトレーニングした。水分量の予測は、水分量を複数の値領域（範囲）としてラベル化して予想する分類モデル（実施例５）を作成して実施した。図７に示すように、可視光皮膚スキンユニット画像から水分量ＡＩ分類モデルがトレーニング可能であることが判明した。これによりデータ数を増やすことにより、より精度の高いモデルが得られることが分かった。近赤外画像から水分量の予想ができることが特許文献５に示されているが、適切な分類タイプのＡＩモデルを使用することにより可視光画像からも水分量の予想ができることを示す結果であり、汎用性のある皮膚スキンユニット画像から水分量を予測できるという顕著な効果を奏する。

【0054】

（ＩＶ）前記解析の結果を表示する表示制御工程（Ｓ４００：解析結果表示）
本工程では、前記解析結果をユーザーに表示する（図１の表示制御部５０）。表示制御部は、装置にあるものでも、スマートフォン上のアプリ内のものであってもよいし、ウェブサイト上にデータを表示するのに使用されるものであってもよい。ネイティブアプリの場合は、例えば、Ｓｗｉｆｔ，Ｊａｖａ，Ｋｏｔｌｉｎ，Ｆｌｕｔｔｅｒを使用して処理が実行される。Ｗｅｂ上に表示する場合は、フロントエンドは、限定はされないが、ＨＴＭＬやＣＳＳ、ＪａｖａＳｃｒｉｐｔで構成される。また、フロントエンドフレームワークを用いる場合もあり、その例には、Ｒｅａｃｔ、Ｖｕｅ．ｊｓ、Ａｎｇｕｌａｒ、Ｅｍｂｅｒ．ｊｓ、Ｂａｃｋｂｏｎｅ．ｊｓ等が含まれる。サーバーサイドと連携して処理するためにバックエンドのフレームワーク（例、Ｄｊａｎｇｏ、Ｌａｒａｖｅｌ、Ｒｕｂｙ ｏｎ Ｒａｉｌｓ、Ｆｌａｓｋ、Ｎｏｄｅ．ｊｓ）を利用する。

【0055】

なお、本明細書中に記載される方法の工程での処理の順番は特に限定されない。例えば、Ｓ１００：対象画像入力、Ｓ２００：スキンユニット同定、Ｓ３００：皮膚特徴量解析、およびＳ４００：解析結果表示は繰り返して行われる場合もあり、Ｓ１００、Ｓ２００、および／またはＳ３００だけを繰り返す場合もあり、中間的または最終的にＳ４００を行う場合もあるが特に限定はされない。

【0056】

実施形態２または３：ＡＩ肌解析装置またはシステム
実施形態２または３は、
コンピュータが、肌を含む画像をデータベースまたは保存部に入力する入力部と
一又は複数の規格化されたスキンユニットを同定する同定部と、
前記スキンユニット内の一又は複数の特徴を解析する解析部と、
前記解析の結果を表示する表示制御部と、を含むＡＩ肌解析装置またはシステムである。

【0057】

本実施形態のＡＩ肌解析装置またはシステムでは、第一の観点の（１）～（９）の方法を実行する装置またはシステムが提供される。本装置またはシステムは、実際のハードウエアの装置またはスマートフォン等のアプリ、例えば、Ｗｅｂアプリまたは（スマートフォンやタブレット上の）ネイティブアプリとして実施可能である。

【0058】

ＡＩ肌解析装置またはシステムは、入力部１０（図１参照）と、データべース／保存部２０と、同定部３０と、解析部４０と、表示制御部５０を備えるが、これ以外の機能部を有していてもよい。本装置またはシステムにより効率的に肌の特徴量（皮膚パラメータ）が解析されて、ユーザーに表示される。具体的には、入力部１０は、肌を含む画像をデータベースまたは保存部２０に入力し、同定部３０でその画像から一又は複数の規格化されたスキンユニットを同定し、解析部４０でその各スキンユニット内の皮膚特徴量（皮膚パラメータ）を解析し、表示制御部５０でその解析結果を表示する。

【0059】

解析部は後述する実施形態７で記載する学習済み肌特徴解析ＡＩモデルを使用する場合がある。解析部や学習済み肌特徴解析ＡＩモデルは、同じ装置またはシステム内にあってもよいし、ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）として外部から提供されていてもよい。前記ＡＰＩは、好ましくはＲＥＳＴ（ＲＥｐｒｅｓｅｎｔａｔｉｏｎａｌ Ｓｔａｔｅ Ｔｒａｎｓｆｅｒ）ｆｕｌ ＡＰＩである。モデルは、解析部で使用可能である。

【0060】

本装置またはシステムがネイティブアプリの形でスマートフォンやタブレットで提供される場合は、Ｓｗｉｆｔ、Ｊａｖａ、Ｋｏｔｌｉｎ、Ｆｌｕｔｔｅｒ、Ｄａｒｔ等の言語を用いてもよい。

【0061】

ユーザーに表示する表示制御部は、デバイス上のものであってもよいし、スマートフォン上のアプリ内のものであってもよいし、ウェブサイト上にデータを表示するのに使用されるものであってもよい。ネイティブアプリの場合は、例えば、Ｓｗｉｆｔ，Ｊａｖａ，Ｋｏｔｌｉｎ，Ｆｌｕｔｔｅｒを使用して処理が実行される。Ｗｅｂ上に表示する場合は、フロントエンドは、限定はされないが、ＨＴＭＬやＣＳＳ、ＪａｖａＳｃｒｉｐｔで構成される。また、フロントエンドフレームワークを用いる場合もあり、その例には、Ｒｅａｃｔ、Ｖｕｅ．ｊｓ、Ａｎｇｕｌａｒ、Ｅｍｂｅｒ．ｊｓ、Ｂａｃｋｂｏｎｅ．ｊｓ等が含まれる。サーバーサイドと連携して処理するためにバックエンドのフレームワーク（例、Ｄｊａｎｇｏ、Ｌａｒａｖｅｌ、Ｒｕｂｙ ｏｎ Ｒａｉｌｓ、Ｆｌａｓｋ、Ｎｏｄｅ．ｊｓ）を利用する。

【0062】

実施形態２または３のＡＩ肌解析装置またはシステムでは、各部分（例、入力部、データベースまたは保存部、同定部、解析部、表示制御部）は同じクラウドまたはデバイス上等にあってもよいし、なくてもよい。実施形態１の方法で特定される要素や好ましい態様が同等に適用され顕著な効果を生じる。

【0063】

実施形態４：スキンユニット同定ＡＩモデル訓練方法
実施形態４では、
規格化されたスキンユニットを教師データとして使用してＡＩモデルを訓練する工程を含む、スキンユニット同定ＡＩモデル訓練方法が提供される。

【0064】

規格化されたスキンユニットを教師データとして使用してスキンユニット同定ＡＩモデルを訓練する。

【0065】

ＡＩモデルの例には、限定はされないが、機械学習モデル、ディープラーニングモデル等が挙げられる。教師あり学習の機械学習の例には、線形回帰、ロジスティック回帰、サポートベクターマシン（ＳＶＭ： Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、決定木、ニューラルネットワーク（ＮＮ： Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ナイーブベイズ等が挙げられる。決定木では、ランダムフォレストやＸＧＢｏｏｓｔといったブースティングを使ったモデルも利用可能である。

【0066】

ニューラルネットワークの例には、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）等が挙げられる。これらディープラーニングモデルも、規格化されたスキンユニットを教師データとして使用して訓練できるものであれば、特に限定はされず、任意のものが利用訓練可能である。

【0067】

訓練は、好ましくは別のクラウドまたはオンプレミス環境で実行する。クラウド環境の例には、Ｇｏｏｇｌｅ ＣｏｌａｂｏｒａｔｏｒｙやＡＷＳ上のＧＰＵ付ＥＣ２インスタンスまたはＳａｇｅＭａｋｅｒが挙げられる。訓練にはＧＰＵ、ＴＰＵ、ＣＰＵが利用できるが、限定はされない。機械学習ではｓｃｉｋｉｔ－ｌｅａｒｎが使用できる。また、ディープラーニングフレームワークとして、ＴｅｎｓｏｒＦｌｏｗ、Ｋｅｒａｓ、ＰｙＴｏｒｃｈ、ＭＸＮｅｔ、Ｃａｆｆｅ等が使用可能である。

【0068】

第４実施形態の訓練部は別のクラウドＶｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｃｌｏｕｄ（ＶＰＣ）やデバイス上に配置されるのが好ましい。例えば、Ｇｏｏｇｌｅ ＣｏｌａｂｏｒａｔｏｒｙやＡＷＳ上のＧＰＵ付ＥＣ２インスタンスまたはＳａｇｅＭａｋｅｒを用いて訓練可能である。

【0069】

また、（１）～（１１）の方法、システム、または装置を実行／配備する環境と（１２）の訓練方法を実行する環境は同じでもよいし、異なっていてもよい。好ましくは、異なる環境で実行／配備される。

【0070】

訓練は、実施形態１～３に記載される規格化されたスキンユニットを使用して実施される。ゼロからトレーニングを実施してもよいし、既存の別の重みを使用してもよいし、本モデルに対して既に得られた重みを使用して転移学習してもよい。転移学習では、モデルを時系列に沿ったデータで再度トレーニングして学習効率を高める効果がある場合がある。

【0071】

実施形態５：肌特徴解析ＡＩモデル訓練方法
実施形態５では、
規格化されたスキンユニット内の皮膚特徴量を教師データとして使用してＡＩモデルを訓練する工程を含む、肌特徴解析ＡＩモデル訓練方法。

【0072】

規格化されたスキンユニット内の皮膚特徴量を教師データとして使用して肌特徴解析ＡＩモデルを訓練する。実施形態５の訓練環境は実施形態４に記載されたものと同様なものが適用される。

【0073】

皮膚特徴量の例は、限定はされないが、シミ数、毛穴数、角層水分量、肌荒れＳＵ見た目グレード、透明感ＳＵ見た目グレード、シミＳＵ見た目グレード、くすみＳＵ見た目グレード、赤むらＳＵ見た目グレード、ニキビＳＵ見た目グレード、毛穴の開きＳＵ見た目グレード、毛穴の黒ずみＳＵ見た目グレード、キメの粗さＳＵ見た目グレード、シワＳＵ見た目グレード、およびハリＳＵ見た目グレードからなる群より選択される一又は複数の特徴量である。これらの特徴量がスキンユニットを使用するＡＩモデルで解析可能なことは実施例３～５で実証された。これにより、本ＡＩモデルが訓練可能なことが示され、よって皮膚特徴量を効率的に解析できるという顕著な効果が奏された。

【0074】

実施形態６：学習済みスキンユニット同定ＡＩモデル
実施形態６は、
（１４）肌を含む画像データを入力する入力層と、
ニューラルネットワークからなり入力データを処理する中間層と、
一又は複数の規格化されたスキンユニットを出力する出力層と、を含み、
（１）、（１０）、または（１１）に記載の方法、装置、またはシステムで使用される学習済みスキンユニット同定ＡＩモデル、である。

【0075】

また、
（１５）入力された肌を含む画像データに対応する一又は複数の規格化されたスキンユニットを出力するよう、コンピュータを機能させるための、（１４）に記載の学習済みスキンユニット同定ＡＩモデルも提供される。

【0076】

スキンユニット同定ＡＩモデルは、好ましくは、機械学習モデルであり、さらに好ましくは、ディープラーニングモデルである。上記した任意の機械学習モデルおよび／またはディープラーニングモデル等が使用可能である。

【0077】

スキンユニット同定ＡＩモデルは、入力層と、中間層と、出力層を含むが、他の（一又は複数の）層を含んでもよい。

【0078】

入力層には、肌を含む画像データを入力する。他の情報（例、性別、年齢、肌の特徴量）を組み合わせて入力することもできる。

【0079】

中間層（隠れ層）は、入力層から入力されたデータを処理する層である。中間層の数は限定されず、任意の数の中間層が配置される。畳み込みニューラルネットワーク（ＣＮＮ）、プーリング層、全結合層、ドロップアウト層等の層が任意の数で任意の組み合わせで使用可能である。

【0080】

出力層は、一又は複数の規格化されたスキンユニットを出力する。出力は、一又は複数の異なる種類の特定スキンユニットを出力する場合がある。

【0081】

実施例１と２により実際のスキンユニット同定ＡＩモデルが構築可能であることが実証された。

【0082】

実施形態７：学習済み肌特徴解析ＡＩモデル
実施形態７は、
（１６）スキンユニットを入力する入力層と、
ニューラルネットワークからなり入力データを処理する中間層と、
（７）に記載の一又は複数の特徴の解析結果を出力する出力層と、を含み、
スキンユニットの特徴を解析できる学習済み肌特徴解析ＡＩモデル、および
（１７）入力されたスキンユニットデータに対応する一又は複数の特徴を出力するよう、コンピュータを機能させるための、（１６）に記載の学習済み肌特徴解析ＡＩモデルを提供する。

【0083】

肌特徴解析ＡＩモデルは、入力層と、中間層と、出力層を含むが、他の（一又は複数の）層を含んでもよい。また、統合ＡＩモデルとして、一又は複数の入力層と、中間層と、出力層を含むこともできる。

【0084】

入力層には、スキンユニット画像データを入力してもよいし、テキストデータを組み合わせた複合的データを入力してもよい。複数の特徴量を入力することもできる。また、カテゴリー変数は、Ｏｎｅ－Ｈｏｔエンコーディングを用いてデータ化してもよい。

【0085】

中間層は、実施形態６と同様なものが適用可能である。

【0086】

出力層は、値を回帰してもよいし、例えば、ＳＵ見た目グレード評価を含むカテゴリー／評価（グレード）を分類してもよい。複数の出力を持つことも可能である。

【0087】

一又は複数の特徴は、好ましくは、シミ数、毛穴数、角層水分量、肌荒れＳＵ見た目グレード、透明感ＳＵ見た目グレード、シミＳＵ見た目グレード、くすみＳＵ見た目グレード、赤むらＳＵ見た目グレード、ニキビＳＵ見た目グレード、毛穴の開きＳＵ見た目グレード、毛穴の黒ずみＳＵ見た目グレード、キメの粗さＳＵ見た目グレード、シワＳＵ見た目グレード、およびハリＳＵ見た目グレードからなる群より選択される一又は複数の特徴であることが好ましい。

【0088】

肌特徴解析ＡＩモデルは、入力されたスキンユニットデータに対応する一又は複数の特徴を出力するよう、コンピュータを機能させてもよい。

【0089】

学習済み肌特徴解析ＡＩモデルや解析部は、装置またはアプリの内部から提供されてもよいし、ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）として外部から提供されていてもよい。前記ＡＰＩは、好ましくはＲＥＳＴ（ＲＥｐｒｅｓｅｎｔａｔｉｏｎａｌ Ｓｔａｔｅ Ｔｒａｎｓｆｅｒ）ｆｕｌ ＡＰＩである。本モデルは、解析部で使用される。

【0090】

本発明で使用するプログラムは、本発明の方法およびモデルを実施できる限り、プログラム全体または部分を含む。その言語の例には、特に限定はされないが、Ｐｙｔｈｏｎ，Ｊａｖａ，Ｋｏｔｌｉｎ，Ｆｌｕｔｔｅｒ，Ｓｗｉｆｔ，Ｃ，Ｃ＃，Ｃ＋＋，ＰＨＰ，Ｒｕｂｙ，ＪａｖａＳｃｒｉｐｔ，Ｓｃａｌａ，Ｇｏ，Ｒ，Ｐｅｒｌ，Ｕｎｉｔｙ，ＣＯＢＯＬ等が含まれる。

【0091】

本発明で使用されるコンピューティングデバイスの例には、特に限定はされないが、ＲＡＭ、ＲＯＭ、キャッシュ、ＳＳＤ、ハードディスクが含まれる。また、クラウド上のもの、サーバー上のもの、オンプレミスのコンピュータ上のもの等の任意の形態のコンピューティングデバイスが含まれる。

【0092】

本明細書中で「Ａ～Ｂ」という記載は、ＡおよびＢを含む。また、本発明に係る工程等について各実施形態で説明したが、これらの記載に限定されるものではなく、種々の変更を行うことができる。

【0093】

さらに、本発明の方法で実施される工程や装置等の各部を実行する順序は限定されない。

【0094】

以下、実施例と比較例を参照して本発明をさらに詳細に説明するが、本発明は以下の実施例に限定はされない。

【実施例】

【0095】

実施例１：スキンユニットのＡＩモデルによる同定
スキンユニット（皮膚領域）をＡＩモデルが認識できるように、顔の領域を認識できるＹＯＬＯｖ５モデル（https://github.com/ultralytics/yolov5）をトレーニングした。以下のＹＯＬＯｖ５のフレームワークにはＰｙＴｏｒｃｈを使用した。ＧｏｏｇｌｅＣｏｌａｂ環境でＧＰＵ（例、Ｖ１００）を使用してトレーニングを実行した。トレーニングには、ＶＩＳＩＡ（Ｃａｎｆｉｅｌｄ Ｓｃｉｅｎｔｉｆｉｃ社製）で得られた可視光の顔面画像を使用し、スキンユニット（顔面の５か所の同じサイズの皮膚領域）（ｘ０）と、眼の領域（ｘ１）、鼻の領域（ｘ２）、口の領域（ｘ３）を別々のラベルに割り当てた。訓練データの作成にはｌａｂｅｌＩｍｇソフトウエア（https://github.com/tzutalin/labelImg）を使用してバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）を各イメージ中で各タイプに割り当てた。スキンユニットは頬部分に約５個の同じサイズのバウンディングボックスを複製して全ての画像に適用して、スキンユニットの皮膚領域を規格化した。１４１人の顔面のラベル付きトレーニングデータ（４１６×４１６ピクセルにリサイズしたもの）と１６人の顔面のバリデーションデータを使い学習を実行した。学習に用いた初期重みは特許第６９８５４３３号における楽譜の小節を認識するモデルの重みを使用した。バッチ数１６で３００エポック訓練した。３００エポック時のｍＡＰ＠．５は０．９５７に達した。学習済みモデルを使用して、ある男性（５３歳）の写真からスキンユニット等を予測した結果を図３Ａに示す。同定されたスキンユニットは分離されて、図３Ｂのように皮膚の領域として、任意のサイズにリサイズすることができた。以後のスキンユニットを用いたトレーニングでは３００×３００ピクセルまたは６００×６００ピクセルにリサイズしたスキンユニット画像データを用いて次の段階のＡＩモデルのデータとした。

【0096】

学習済みモデルを使用してトレーニングに用いなかったテストデータ（ある男性のスマートフォンの自撮り写真）でスキンユニット等を予測した結果を図３Ａに示す。スキンユニット（ｘ０）は３か所同定され、認識されたスキンユニットのサイズ（長辺または短辺）がトレーニング時より２倍より大きいまたは２分の１より小さいものは無かった。

【0097】

また得られたスキンユニットＡＩモデルが、美容分野だけでなくメディカル（医用）分野でも適用可能であることを証明するために、足首（男性、５３歳、過去に足首部分に褥瘡ができ、その痕跡がある）（図３Ｃ）と臀部（男性、５３歳、過去に臀部に褥瘡ができ、その痕跡がある）（図３Ｄ）の写真をスマートフォンで撮影し、その画像に本学習済みスキンユニットＡＩモデルを適用した。結果、足首部分は６か所のスキンユニットが同定され、臀部も６か所の規格化されたスキンユニットが同定できた。認識されたスキンユニットのサイズ（長辺または短辺）がトレーニング時より２倍より大きいまたは２分の１より小さいものは無かった。本結果により、スキンユニットＡＩモデルが作成できることが実証され、その適用範囲は顔面領域だけでなくメディカル用途に使用される皮膚領域（例、足首、臀部）にも応用可能であることが証明された。また、単一の領域でなく、スキンユニットが複数の領域で認識同定されたことから、その複数のスキンユニットを解析して統計的に処理することができるので、定量的により精度の高い皮膚データを得ることができるという優れた効果を奏することも実証された。

【0098】

優れたスキンユニットＡＩモデルができたことは顕著な効果である。

【0099】

実施例２：特定スキンユニットのＡＩモデルによる同定
次に、一般的なスキンユニットだけでなく特定領域のスキンユニットが同定できるかどうかを検証した。実施例１と同様にしてＹＯＬＯｖ５モデルをトレーニングした。但し、実施例２では顔面の特定皮膚領域（特定スキンユニット）を区別してラベルした（Ｓ０：目尻スキンユニット、Ｓ１：目下スキンユニット、Ｓ２：鼻肌スキンユニット、Ｓ３：口元スキンユニット、Ｓ４：頬スキンユニット）。各スキンユニットは同じサイズのバウンディングボックスを複製して用いることで、スキンユニットを統一して規格化した。実施例１と同様に１４１人の顔面のラベル付きトレーニングデータ（４１６×４１６ピクセルにリサイズしたもの）と１６人の顔面のバリデーションデータを使い学習を実行した。

【0100】

図４Ａにトレーニングに用いなかったある男性の顔面のテスト結果を示す。また、コンフィデンス値を５０％にして予測検出した１５例のテストデータの結果、Ｓ０：目尻スキンユニットは１００％、Ｓ１：目下スキンユニットは１００％、Ｓ２：鼻肌スキンユニットは１００％、Ｓ３：口元スキンユニットは１００％、Ｓ４：頬スキンユニットは９３％の精度で各特定スキンユニットが同定できた。認識されたスキンユニットのサイズ（長辺または短辺）がトレーニング時より２倍より大きいまたは２分の１より小さいものは無かった。この実験データは、一般的スキンユニットだけでなく、特定の皮膚領域に特化した特定スキンユニットが画像からＡＩモデルを使用して規格化されたスキンユニットとして認識同定できることを実証した。これにより、皮膚の特定領域に絞って解析したい場合にも、本特定スキンユニットＡＩモデルが適用できるという優れた効果を示す。

【0101】

実施例３：スキンユニットを使用した各種ＳＵ見た目グレードＡＩモデルの作成
次に同定されたスキンユニットの皮膚の状態を解析する手段として各種ＳＵ見た目グレードＡＩモデルが適用できるかどうかを検証した。元コホート集団は２０６人の被験者で、そこから、１２７０個のスキンユニットを抽出しトレーニングに使用した。ＳＵ見た目グレードの実測データは熟練トレーニングされた２から３人の平均を取って実測ＳＵ見た目グレード値をグレード化した（グレード１～５）。そのグレードを教師データとして、各種ＳＵ見た目グレード値をトレーニングした。ＳＵ見た目グレードは、肌荒れＳＵ見た目グレード、透明感ＳＵ見た目グレード、シミＳＵ見た目グレード、くすみＳＵ見た目グレード、赤むらＳＵ見た目グレード、ニキビＳＵ見た目グレード、毛穴の開きＳＵ見た目グレード、毛穴の黒ずみＳＵ見た目グレード、キメの粗さＳＵ見た目グレード、シワＳＵ見た目グレード、およびハリＳＵ見た目グレードを含み、各ＳＵ見た目グレードについてトレーニングしてＡＩモデルが作成できるかどうかをテストした。

【0102】

各種ＳＵ見た目グレードＡＩモデルのトレーニング結果を図５Ａ～Ｃに示す。まず、肌荒れＳＵ見た目グレード（図３Ａ）に関してトレーニングを実施した。ＥｆｆｉｃｉｅｎｔＮｅｔＢ３モデルをベースモデルとした。以下のＥｆｆｉｃｉｅｎｔＮｅｔのモデルの設計と運用はＴｅｎｓｏｒＦｌｏｗとＫｅｒａｓのフレームワークをＧｏｏｇｌｅＣｏｌａｂ環境（例、Ｐｒｏ＋）でＧＰＵ（例、Ｖ１００）を使用して実行した。スキンユニットデータは３００×３００ピクセルにリサイズしたものを使用した。また、初期の重みには、デフォルト（Ｎｏｎｅ）で最初からトレーニングを５００エポック行った。約３００エポックからトレーニングデータの正確度（Ａｃｃｕｒａｃｙ）が上昇を始め、５００エポックでａｃｃｕｒａｃｙ：０．８９０６に到達した。さらに３００エポック転移学習でトレーニングするとａｃｃｕｒａｃｙ：０．９６９８に到達した。これにより、肌荒れＳＵ見た目グレードのグレードを１２７０個のスキンユニットから正確に同定できるようにＡＩモデルをトレーニング可能であることが実証された。バリデーションデータの正確度は変動しているがある程度のレベル（０．５）であることが分かった。これらのデータから、データ数（被験者数）を増やすことにより、ＳＵ見た目グレードを予測するＡＩモデルの精度が向上することが予想され、実際にＳＵ見た目グレードのＡＩモデルがトレーニング可能であることから、データ数を増やすことによって、より優れたＳＵ見た目グレードモデルが作成できることが分かった。

【0103】

また、その他のＳＵ見た目グレードモデル（スキンユニット３００ｘ３００ピクセル使用）（例、図５Ｂ～Ｃ）（肌荒れＳＵ見た目グレード、透明感ＳＵ見た目グレード、シミＳＵ見た目グレード、くすみＳＵ見た目グレード、赤むらＳＵ見た目グレード、ニキビＳＵ見た目グレード、毛穴の開きＳＵ見た目グレード、毛穴の黒ずみＳＵ見た目グレード、キメの粗さＳＵ見た目グレード、シワＳＵ見た目グレード、およびハリＳＵ見た目グレード）に関しては、学習済み肌荒れＳＵ見た目グレードモデルの重みを初期重みにして同様にトレーニングを実施した。図から分かるように、各ＳＵ見た目グレードのモデルはそれぞれ異なった様式でトレーニングが進むが、どれも最終的には正確度が約１にまで到達した（肌荒れＳＵ見た目グレード（８００エポック後；ａｃｃｕｒａｃｙ：０．９６９８）、透明感ＳＵ見た目グレード（５００エポック後；ａｃｃｕｒａｃｙ：０．９７１９）、シミＳＵ見た目グレード（５００エポック後；ａｃｃｕｒａｃｙ：０．９９３７）、くすみＳＵ見た目グレード（３００エポック後；ａｃｃｕｒａｃｙ：０．９７７１）、赤むらＳＵ見た目グレード（３００エポック後；ａｃｃｕｒａｃｙ：０．９７５０）、ニキビＳＵ見た目グレード（３００エポック後；ａｃｃｕｒａｃｙ：０．９７６０）、毛穴の開きＳＵ見た目グレード（３００エポック後；ａｃｃｕｒａｃｙ：０．９７４０）、毛穴の黒ずみＳＵ見た目グレード（３００エポック後；ａｃｃｕｒａｃｙ：０．９７９２）、キメの粗さＳＵ見た目グレード（５００エポック後；ａｃｃｕｒａｃｙ：０．９８６５）、シワＳＵ見た目グレード（３００エポック後；ａｃｃｕｒａｃｙ：０．９８２３）、およびハリＳＵ見た目グレード（３００エポック後；ａｃｃｕｒａｃｙ：０．９６５６））。バリデーションの正確度も各ＳＵ見た目グレードＡＩモデルでばらつきがあるが、ある程度の変動はあるがある一定の値を示した。これらＳＵ見た目グレードＡＩモデルも、データ数（被験者数）を増やすことにより、ＳＵ見た目グレードを予測するＡＩモデルの精度が向上することが予想され、実際にＳＵ見た目グレードのＡＩモデルがトレーニング可能であることから、データ数を増やすことによって、より優れたＳＵ見た目グレードモデルが作成できることが分かった。

【0104】

比較例１：肌を含む顔面画像を使用したＳＵ見た目グレードＡＩモデルの作成
トレーニングに用いた画像をスキンユニット画像から肌を含む顔面画像に変えた以外は実施例３と同様にして肌荒れ＿見た目グレードＡＩモデルをトレーニングした。結果を図５Ｄに示す。用いた顔面画像のデータ数は１７２個であった。トレーニングの経過はスキンユニットを使ったトレーニング（図５Ａ）と異なっていたが、正確度は徐々に上昇していった。しかし、用いた顔面画像は肌以外の領域（眼、髪）等も含むことから皮膚特異的に学習が進んだかどうかは不明である。また、用いた画像データ数は１７２個で、実施例３でのスキンユニット画像数１２７０よりも一桁少ないものであった。従って、多数のデータで同様に学習が進むかどうかは不明である。

【0105】

また、スキンユニット画像は、顔面画像の一部であり、解像度が異なる。そこで顔面画像を６００×６００ピクセルにリサイズし、対応するサイズのベースモデルをＥｆｆｉｃｉｅｎｔＮｅｔＢ３からＥｆｆｉｃｉｅｎｔＮｅｔＢ７に変更する以外は、実施例３と同様にトレーニングを実施した。結果を図５Ｅに示す。トレーニングは５００エポック実施したが、正確度（ａｃｃｕｒａｃｙ）は０．５から０．６の間にあり、トレーニングすることができなかった。トレーニングできなかった理由は不明であるが、画像のサイズや使用したベースモデルが適応しなかった可能性もある。

【0106】

実施例４：スキンユニットを使用した毛穴数／シミ数ＡＩモデルの作成
スキンユニット内の毛穴数とシミ数を直接ＡＩモデルでカウントできるかどうかを検証した。実施例３と同じスキンユニットデータの一部を使用してラベリングデータを作成した。ベースモデルはＹＯＬＯｖ５を用いた。トレーニングには１２７枚のスキンユニットデータを用い、各スキンユニット中に「毛穴（ｖａ０）」と「シミ（ｖａ１）」についてｌａｂｅｌＩｍｇソフトウエアを使用してラベリングした。各画像中において、０～５０程度の毛穴や０～１０程度のシミをラベリングした。

【0107】

図６Ａはトレーニング結果を示す。左からそれぞれ、ｍＡＰ＿０．５、ｐｒｅｃｉｓｉｏｎ、ｒｅｃａｌｌを示す。約８０～１００エポックで値は一定の値を示すようになった。ｍＡＰ＿０．５が約０．３５であるが、これは毛穴のラベリングの際に、毛穴の状態が様々であり、そのバリエーションが影響した可能性がある。

【0108】

図６Ｂはトレーニングに使用しなかったテストスキンユニットデータを用いて学習済みモデルで予測認識させた結果である。１２枚のテスト画像のいずれも毛穴（ｖａ０）とシミ（ｖａ１）が、予測の確度を調整することによって精度よく検出できることが分かる。このスキンユニット画像中の毛穴とシミの数は検出された数から計算できる。従って、スキンユニット画像中の毛穴数とシミ数が精度高く検出できることを実証した。

【0109】

実施例５：水分量ＡＩモデルの作成とスキンユニットへの適用（分類モデル）
スキンユニット内の水分量を一般の可視光画像から推測できることは汎用性の面から大きなメリットがある。そこで、スキンユニットの水分量を予測するＡＩモデルが作成できるかどうかを検証した。まず、被験者コホートの角層水分量を実測した。実測には水分量測定器を用いて、この水分量の範囲を５ずつの１１個のビン（数値範囲）に分割してサンプル化した（０～５、５～１０、１０～１５、１５～２０、２０～２５、２５～３０，３０～３５、３５～４０、４０～４５、４５～５０、および５０以上）（ここのＡ～ＢはＡ以上Ｂ未満）（それぞれ、ラベル０、１、２、３、４、５、６、７、８、９、および１０に対応する）。そして、角層水分量の実測値を０から１０のラベルにしてトレーニングデータを作成して、分類型水分量モデルをトレーニングした。

【0110】

ＥｆｆｉｃｉｅｎｔＮｅｔＢ３モデルをベースモデルとした分類モデル（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）をまず作成した。スキンユニットデータは３００×３００にリサイズしたものを使用した。また、初期の重みには、デフォルト（Ｎｏｎｅ）で最初からトレーニングを５００エポック行った。実施例３で使用したと同じ１２７０個のスキンユニットトレーニングデータを使用した。トレーニング結果を図７Ａに示す。５００エポック後にはａｃｃｕｒａｃｙ：０．９７７１に到達した。したがって、このトレーニング設定で、角層水分量の実測値のラベルを学習できることが実証された。バリデーションでの正確度（ａｃｃｕｒａｃｙ）が約０．２であるが、本ＡＩモデルがトレーニング可能であることから、データ数を増やしてトレーニングすれば正確度が上がると考えられる。これにより、水分量を予測する分類モデルが作成可能なことが分かった。

【産業上の利用可能性】

【0111】

本発明は、美容分野のみならずメディカル分野においても皮膚の状態（例、各種ＳＵ見た目グレード、毛穴数、シミ数、角層水分量）を基礎パラメータとして提供する用途一般に有用である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】