特表 2022-512044 深層学習を用いた自動的な画像ベースの皮膚診断

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-02-01

(54)【発明の名称】深層学習を用いた自動的な画像ベースの皮膚診断

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220125BHJP

   A61B 10/00 20060101ALI20220125BHJP

   G06N 3/04 20060101ALI20220125BHJP

【ＦＩ】

G06T7/00 614

G06T7/00 350C

G06T7/00 660A

A61B10/00 Q

G06N3/04

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021554782

(86)(22)【出願日】2019-12-03

(85)【翻訳文提出日】2021-07-30

(86)【国際出願番号】 CA2019051735

(87)【国際公開番号】W WO2020113326

(87)【国際公開日】2020-06-11

(31)【優先権主張番号】62/775,117

(32)【優先日】2018-12-04

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

２．ＳＭＡＬＬＴＡＬＫ

(71)【出願人】

【識別番号】521246253

【氏名又は名称】ジャン・ルオウェイ

(71)【出願人】

【識別番号】521246264

【氏名又は名称】マー・ジュンウェイ

(71)【出願人】

【識別番号】521209063

【氏名又は名称】マー・ヒー

(71)【出願人】

【識別番号】521209052

【氏名又は名称】エルモズニーノ・エリック

(71)【出願人】

【識別番号】521209074

【氏名又は名称】ケゼル・イリーナ

(71)【出願人】

【識別番号】521209096

【氏名又は名称】レビンシュタイン・アレックス

(71)【出願人】

【識別番号】521246275

【氏名又は名称】デスポア・ジュリアン

(71)【出願人】

【識別番号】521246286

【氏名又は名称】ペロット・マシュー

(71)【出願人】

【識別番号】521246297

【氏名又は名称】フラマン・フレデリックアントニンレイモンドサージ

(71)【出願人】

【識別番号】521209100

【氏名又は名称】アーラビ・パラム

(74)【代理人】

【識別番号】110000534

【氏名又は名称】特許業務法人しんめいセンチュリー

(72)【発明者】

【氏名】ジャン・ルオウェイ

(72)【発明者】

【氏名】マー・ジュンウェイ

(72)【発明者】

【氏名】マー・ヒー

(72)【発明者】

【氏名】エルモズニーノ・エリック

(72)【発明者】

【氏名】ケゼル・イリーナ

(72)【発明者】

【氏名】レビンシュタイン・アレックス

(72)【発明者】

【氏名】デスポア・ジュリアン

(72)【発明者】

【氏名】ペロット・マシュー

(72)【発明者】

【氏名】フラマン・フレデリックアントニンレイモンドサージ

(72)【発明者】

【氏名】アーラビ・パラム

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA06

5L096BA13

5L096CA02

5L096DA01

5L096EA02

5L096EA03

5L096EA11

5L096EA35

5L096FA16

5L096FA33

5L096GA10

5L096GA30

5L096GA51

5L096HA11

5L096JA11

5L096KA04

(57)【要約】

皮膚診断のための深層学習に基づくシステム及び方法、並びに、そのような深層学習に基づくシステムが、見かけ上の皮膚の診断タスクに関して人間の専門家を上回ることを示す、試験メトリクスが開示され、説明される。また、皮膚診断のための深層学習ベースのシステム及び方法を使用して、皮膚治療方法をモニタするシステム及び方法が開示され、説明される。
【選択図】図３

【特許請求の範囲】

【請求項1】

記憶部と、その記憶部に結合される処理部とを備える皮膚の診断装置であって、
前記記憶部は、複数であるＮ個の各皮膚の徴候について、Ｎ個の各皮膚の徴候診断を判定するために画像のピクセルを分類する畳み込みニューラルネットワークであるＣＮＮを記憶して提供し、
前記ＣＮＮは、前記Ｎ個の各皮膚の徴候診断を生成するように構成された画像分類のための深層ニューラルネットワークであり、
前記ＣＮＮは、前記Ｎ個の各皮膚の徴候のそれぞれに関する皮膚の徴候データを使用して学習され、
前記処理部は、前記画像を受信し、前記ＣＮＮを用いて前記画像を処理し、前記Ｎ個の各皮膚の徴候診断を生成することを特徴とする皮膚の診断装置。

【請求項2】

前記ＣＮＮは、画像分類のための学習済ネットワークから定義され、最終のエンコーダ段階の特徴ネットに特徴を符号化するように構成されたエンコーダ段階と、前記Ｎ個の各皮膚の徴候診断を生成するために、複数であるＮ個の並列の皮膚徴候の分岐によって復号化するための前記最終のエンコーダ段階の特徴ネットを受信するように構成されたデコーダ段階と、を備える、請求項１記載の皮膚の診断装置。

【請求項3】

前記デコーダ段階は、前記最終のエンコーダ段階の特徴ネットを処理して前記Ｎ個の並列の皮膚徴候の分岐の各々に提供するグローバルプーリング処理を備える、請求項２記載の皮膚の診断装置。

【請求項4】

前記ＣＮＮは、前記ピクセルを分類して民族性ベクトルを判定するように構成され、
前記ＣＮＮは、前記Ｎ個の各皮膚の徴候および複数の民族性に関する皮膚の徴候データを使用して学習される、請求項２又は３に記載の皮膚の診断装置。

【請求項5】

前記デコーダ段階は、前記民族性ベクトルを生成するための民族性に関する並列の分岐を備える、請求項４記載の皮膚の診断装置。

【請求項6】

前記Ｎ個の並列の皮膚徴候の分岐の各分岐は、第１の全結合層と、それに続く第１の活性化層と、第２の全結合層と、第２の活性化層と、最終の活性化層と、を連続して備え、前記Ｎ個の各皮膚の徴候診断および前記民族性ベクトルのうちの１つを含む最終値を出力する、請求項２から５のいずれかに記載の皮膚の診断装置。

【請求項7】

前記最終の活性化層は、前記第２の活性化層から受信した入力スコアｘに関する以下の数式１の関数に従って定義され、
αは傾き、ａは下限、ｂは前記Ｎ個の各皮膚の徴候診断の各々のスコア範囲の上限である、請求項６記載の皮膚の診断装置。

【数1】

【請求項8】

前記ＣＮＮは、（ｘ_ｉ、ｙ_ｉ）形式の複数のサンプルを用いて学習され、
ｘ_ｉは、ｉ番目の学習画像であり、
ｙ_ｉは、グランドトゥルースの皮膚の徴候診断に対応するベクトルであり、
前記ＣＮＮは、前記Ｎ個の並列の皮膚徴候の分岐、及び前記民族性に関する並列の分岐の各分岐に対する損失関数を最小化するように学習される、請求項４から７のいずれかに記載の皮膚の診断装置。

【請求項9】

前記ＣＮＮは、前記Ｎ個の並列の皮膚徴候の分岐のそれぞれについての損失関数Ｌ２に、前記民族性に関する並列の分岐についての標準交差エントロピー分類損失Ｌ_{ｅｔｈｎｉｃｉｔｙ}を重み付けして組み合わせた損失関数Ｌを、以下の数式３に従って最小化するように学習され、
λは、スコア回帰と民族性の分類損失の間のバランスを制御する、請求項８記載の皮膚の診断装置。

【数3】

【請求項10】

前記記憶部は、前記画像を前処理するための顔およびランドマークの検出器を記憶し、
前記処理部は、前記顔およびランドマークの検出器を用いて前記画像から正規化された画像を生成し、前記ＣＮＮを使用する際に前記正規化された画像を使用するように構成される、請求項１から９のいずれかに記載の皮膚の診断装置。

【請求項11】

前記ＣＮＮは、前記Ｎ個の各皮膚の徴候診断を生成するように適合された画像分類のための学習済ネットワークを備え、
前記学習済ネットワークの全結合層が省略され、
Ｎ個の各層のグループは、前記Ｎ個の各皮膚の徴候診断のそれぞれについて同じ特徴ネットを並列に復号するように定義される、請求項１から１０のいずれかに記載の皮膚の診断装置。

【請求項12】

モバイル端末からなる個人用のコンピュータ装置と、通信ネットワークを介して皮膚の診断サービスを提供するサーバと、のいずれかから構成される、請求項１から１１のいずれかに記載の皮膚の診断装置。

【請求項13】

前記記憶部は、前記処理部によって実行されると、前記Ｎ個の各皮膚の徴候診断の少なくともいくつかに対応して、製品および治療計画のうちの少なくとも１つに関する推奨事項を取得するための治療製品セレクタを提供するコードを記憶する、請求項１から１２のいずれかに記載の皮膚の診断装置。

【請求項14】

前記記憶部は、前記処理部によって実行されると、前記画像を受信するための画像取得機能を提供するコードを記憶する、請求項１から１３のいずれかに記載の皮膚の診断装置。

【請求項15】

前記記憶部は、前記処理部によって実行されると、少なくとも１つの皮膚の徴候に対する治療をモニタするための治療モニタを提供するコードを記憶する、請求項１から１４のいずれかに記載の皮膚の診断装置。

【請求項16】

前記処理部は、各治療セッションに対する製品の適用に関連する治療活動を、思い出させる、指示する、及び／又は記録する、のうちの少なくとも１つを行うように構成される、請求項１５記載の皮膚の診断装置。

【請求項17】

前記処理部は、前記ＣＮＮを用いて第２の画像を処理し、治療セッション後に受信した後続の皮膚の診断を生成するように構成される、請求項１から１６のいずれかに記載の皮膚の診断装置。

【請求項18】

前記記憶部は、前記処理部によって実行されると、前記後続の皮膚の診断を用いた比較結果の提示を行うコードを記憶する、請求項１７記載の皮膚の診断装置。

【請求項19】

皮膚診断のコンピュータ実装方法であって、
画像のピクセルを分類して、複数であるＮ個の各皮膚の徴候の各々についてＮ個の各皮膚の徴候診断を判定するように構成された畳み込みニューラルネットワークであるＣＮＮを記憶する記憶部を提供し、
前記ＣＮＮは、前記Ｎ個の各皮膚の徴候診断を生成するように構成された画像分類のための深層ニューラルネットワークであり、
前記ＣＮＮは、前記Ｎ個の各皮膚の徴候についての皮膚の徴候データを使用して学習され、
前記記憶部に結合された処理部によって、前記画像を受信することと、前記ＣＮＮを用いて前記画像を処理して前記Ｎ個の各皮膚の徴候診断を生成することと、を実行することを特徴とする方法。

【請求項20】

前記ＣＮＮは、画像分類のための学習済ネットワークから定義され、最終のエンコーダ段階の特徴ネットに特徴を符号化するように構成されたエンコーダ段階と、前記Ｎ個の各皮膚の徴候診断を生成するために、複数であるＮ個の並列の皮膚徴候の分岐によって復号化するための前記最終のエンコーダ段階の特徴ネットを受信するように構成されたデコーダ段階と、を備える、請求項１９記載の方法。

【請求項21】

前記デコーダ段階は、前記最終のエンコーダ段階の特徴ネットを処理して前記Ｎ個の並列の皮膚徴候の分岐の各々に提供するグローバルプーリング処理を備える、請求項２０に記載の方法。

【請求項22】

前記ＣＮＮは、前記ピクセルを分類して民族性ベクトルを判定するように構成され、
前記ＣＮＮは、前記Ｎ個の各皮膚の徴候および複数の民族性に関する皮膚の徴候データを使用して学習され、
前記ＣＮＮによる前記画像の処理は、前記民族性ベクトルを生成する、請求項２０又は２１に記載の方法。

【請求項23】

前記デコーダ段階は、前記民族性ベクトルを生成するための民族性に関する並列の分岐を備える、請求項２２記載の方法。

【請求項24】

前記Ｎ個の並列の皮膚徴候の分岐の各分岐は、第１の全結合層と、それに続く第１の活性化層と、第２の全結合層と、第２の活性化層と、最終の活性化層と、を連続して備え、前記Ｎ個の各皮膚の徴候診断および前記民族性ベクトルのうちの１つを含む最終値を出力する、請求項２０から２３のいずれかに記載の方法。

【請求項25】

前記最終の活性化層は、前記第２の活性化層から受信した入力スコアｘに関する以下の数式１の関数に従って定義され、
αは傾き、ａは下限、ｂは前記Ｎ個の各皮膚の徴候診断の各々のスコア範囲の上限である、請求項２４記載の方法。

【数1】

【請求項26】

前記ＣＮＮは、（ｘ_ｉ、ｙ_ｉ）形式の複数のサンプルを用いて学習され、
ｘ_ｉは、ｉ番目の学習画像であり、
ｙ_ｉは、グランドトゥルースの皮膚の徴候診断に対応するベクトルであり、
前記ＣＮＮは、前記Ｎ個の並列の皮膚徴候の分岐、及び前記民族性に関する並列の分岐の各分岐に対する損失関数を最小化するように学習される、請求項２２から２５のいずれかに記載の方法。

【請求項27】

前記ＣＮＮは、前記Ｎ個の並列の皮膚徴候の分岐のそれぞれについての損失関数Ｌ２に、前記民族性に関する並列の分岐についての標準交差エントロピー分類損失Ｌ_{ｅｔｈｎｉｃｉｔｙ}を重み付けして組み合わせた損失関数Ｌを、以下の数式３に従って最小化するように学習され、
λは、スコア回帰と民族性の分類損失の間のバランスを制御する、請求項２６記載の方法。

【数3】

【請求項28】

前記記憶部は、前記画像を前処理するための顔およびランドマークの検出器を記憶し、
前記方法は、前記処理部が前記顔およびランドマークの検出器を用いて記画像を前処理して前記画像から正規化された画像を生成し、前記ＣＮＮを使用する際に前記正規化された画像を使用する、請求項１９から２７のいずれかに記載の方法。

【請求項29】

前記ＣＮＮは、前記Ｎ個の各皮膚の徴候診断を生成するように適合された画像分類のための学習済ネットワークを備え、
前記学習済ネットワークの全結合層が省略され、
Ｎ個の各層のグループは、前記Ｎ個の各皮膚の徴候診断のそれぞれについて同じ特徴ネットを並列に復号するように定義される、請求項１９から２８のいずれかに記載の方法。

【請求項30】

前記記憶部および前記処理部は、モバイル端末からなる個人用のコンピュータ装置と、通信ネットワークを介して皮膚の診断サービスを提供するサーバと、のいずれかの構成要素である、請求項１９から２９のいずれかに記載の方法。

【請求項31】

前記記憶部は、前記処理部によって実行されると、前記Ｎ個の各皮膚の徴候診断の少なくともいくつかに対応して、製品および治療計画のうちの少なくとも１つに関する推奨事項を取得するための治療製品セレクタを提供するコードを記憶し、
前記方法は、前記処理部によって前記治療製品セレクタの前記コードを実行して、製品および治療計画のうちの少なくとも１つに関する推奨事項を取得する、請求項１９から３０のいずれかに記載の方法。

【請求項32】

前記記憶部は、前記処理部によって実行されると、前記画像を受信するための画像取得機能を提供するコードを記憶し、
前記方法は、前記画像を受信するために、前記処理部によって前記画像取得機能の前記コードを実行する、請求項１９から３１のいずれかに記載の方法。

【請求項33】

前記記憶部は、前記処理部によって実行されると、少なくとも１つの皮膚の徴候に対する治療をモニタするための治療モニタを提供するコードを記憶し、
前記方法は、少なくとも１つの皮膚の徴候に対する治療をモニタするために、前記処理部よって前記治療モニタのコードを実行する、請求項１９から３２のいずれかに記載の方法。

【請求項34】

前記方法は、前記処理部によって、各治療セッションに対する製品の適用に関連する治療活動を、思い出させる、指示する、及び／又は記録する、のうちの少なくとも１つを行う、請求項３３記載の方法。

【請求項35】

前記処理部によって、前記ＣＮＮを用いて第２の画像を処理し、治療セッション後に受信した後続の皮膚の診断を生成する、請求項１９から３４のいずれかに記載の方法。

【請求項36】

処理部によって、前記後続の皮膚の診断を用いて比較結果の提示を提供する、請求項３５記載の方法。

【請求項37】

画像のピクセルを分類して、複数であるＮ個の各皮膚の徴候の各々についてＮ個の各皮膚の徴候診断を判定するように構成された畳み込みニューラルネットワークであるＣＮＮを学習させ、
前記ＣＮＮは、前記Ｎ個の各皮膚の徴候診断を生成するように構成された画像分類のための深層ニューラルネットワークであり、
前記学習は、前記Ｎ個の各皮膚の徴候についての皮膚の徴候データを用いて実行される、方法。

【請求項38】

前記ＣＮＮは、画像分類のための学習済ネットワークから定義され、最終のエンコーダ段階の特徴ネットに特徴を符号化するように構成されたエンコーダ段階と、前記Ｎ個の各皮膚の徴候診断を生成するために、複数であるＮ個の並列の皮膚徴候の分岐によって復号化するための前記最終のエンコーダ段階の特徴ネットを受信するように構成されたデコーダ段階と、を備える、請求項３７記載の方法。

【請求項39】

前記デコーダ段階は、前記最終のエンコーダ段階の特徴ネットを処理して前記Ｎ個の並列の皮膚徴候の分岐の各々に提供するグローバルプーリング処理を備える、請求項３８記載の方法。

【請求項40】

前記ＣＮＮは、前記ピクセルを分類して民族性ベクトルを判定するように構成され、
前記方法は、前記Ｎ個の各皮膚の徴候および複数の民族性に関する皮膚の徴候データを使用して前記ＣＮＮを学習させる、請求項３８又は３９に記載の方法。

【請求項41】

前記デコーダ段階は、前記民族性ベクトルを生成するための民族性に関する並列の分岐を備える、請求項４０記載の方法。

【請求項42】

前記Ｎ個の並列の皮膚徴候の分岐の各分岐は、第１の全結合層と、それに続く第１の活性化層と、第２の全結合層と、第２の活性化層と、最終の活性化層と、を連続して備え、前記Ｎ個の各皮膚の徴候診断および前記民族性ベクトルのうちの１つを含む最終値を出力する、請求項３８から４１のいずれかに記載の方法。

【請求項43】

前記最終の活性化層は、前記第２の活性化層から受信した入力スコアｘに関する以下の数式１の関数に従って定義され、
αは傾き、ａは下限、ｂは前記Ｎ個の各皮膚の徴候診断の各々のスコア範囲の上限である、請求項４２記載の方法。

【数1】

【請求項44】

前記学習は、（ｘ_ｉ、ｙ_ｉ）形式の複数のサンプルを用いて前記ＣＮＮを学習させ、
ｘ_ｉは、ｉ番目の学習画像であり、
ｙ_ｉは、グランドトゥルースの皮膚の徴候診断に対応するベクトルであり、
前記学習は、前記Ｎ個の並列の皮膚徴候の分岐、及び前記民族性に関する並列の分岐の各分岐に対する損失関数を最小化するように前記ＣＮＮを学習させる、請求項４０から４４のいずれかに記載の方法。

【請求項45】

前記学習は、前記Ｎ個の並列の皮膚徴候の分岐のそれぞれについての損失関数Ｌ２に、前記民族性に関する並列の分岐についての標準交差エントロピー分類損失Ｌ_{ｅｔｈｎｉｃｉｔｙ}を重み付けして組み合わせた損失関数Ｌを、以下の数式３に従って最小化するように前記ＣＮＮを学習させ、
λは、スコア回帰と民族性の分類損失の間のバランスを制御する、請求項４４記載の方法。

【数3】

【請求項46】

前記ＣＮＮは、顔およびランドマークの検出によって前処理された正規化された画像を受信するように構成される、請求項１９から２７のいずれかに記載の方法。

【請求項47】

前記ＣＮＮは、前記Ｎ個の各皮膚の徴候診断を生成するように適合された画像分類のための学習済ネットワークを予め備え、
前記学習済ネットワークの全結合層が省略され、
Ｎ個の各層のグループは、前記Ｎ個の各皮膚の徴候診断のそれぞれについて同じ特徴ネットを並列に復号するように定義される、請求項１９から２８のいずれかに記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、米国に関して、２０１８年１２月４日に出願された米国仮特許出願第６２／７７５，１１７号のパリ条約優先権を主張し、その内容は、許容される場合に参照により本明細書に組み込まれる。

【0002】

本明細書は、皮膚科などの皮膚診断、及び皮膚治療のモニタリングに関し、より詳細には、深層学習を用いた自動的な画像ベースの皮膚診断のためのシステム及び方法に関する。

【背景技術】

【0003】

正確な皮膚の分析は、医療および化粧品分野の両方において重要な分野である。皮膚の画像を生成し、分析して、１又は複数の皮膚の状態を判定することがある。皮膚分析の課題は、コンピュータ技術を用いて、画像（見た目で分かる皮膚診断のタスク）を通して皮膚を観察することだけで解決することが望ましい。この課題の解決に成功すれば、皮膚科医が人を直接診察する必要が無くなるので、皮膚分析をより迅速かつ安価にできる。

【0004】

顔などの画像には、符号化（エンコード）された１又は複数の皮膚の状態が画像のピクセル内に示される。画像から１又は複数の皮膚の状態を復号化（デコード）するために深層学習を使用して自動的な画像ベースの皮膚診断を実行するか、又は実行することを可能にする、コンピュータ実装方法、コンピュータ装置、及び他の態様を提供することが望ましい。

【発明の概要】

【0005】

皮膚診断のための深層学習に基づくシステム及び方法、並びに、そのような深層学習に基づくシステムが、見かけ上の皮膚の診断タスクに関して人間の専門家を上回ることを示す、試験メトリクスが開示され、説明される。また、皮膚診断のための深層学習に基づくシステム及び方法を使用して、皮膚治療の方法をモニタするシステム及び方法が開示され、説明される。

【0006】

記憶部と、その記憶部に結合される処理部とを備える皮膚の診断装置が提供され、前記記憶部は、複数であるＮ個の各皮膚の徴候について、Ｎ個の各皮膚の徴候診断を判定するために画像のピクセルを分類する畳み込みニューラルネットワークであるＣＮＮを記憶して提供し、前記ＣＮＮは、前記Ｎ個の各皮膚の徴候診断を生成するように構成された画像分類のための深層ニューラルネットワークであり、前記ＣＮＮは、前記Ｎ個の各皮膚の徴候のそれぞれに関する皮膚の徴候データを使用して学習され、前記処理部は、前記画像を受信し、前記ＣＮＮを用いて前記画像を処理し、前記Ｎ個の各皮膚の徴候診断を生成する。

【0007】

前記ＣＮＮは、画像分類のための学習済ネットワークから定義され、最終のエンコーダ段階の特徴ネットに特徴を符号化するように構成されたエンコーダ段階と、前記Ｎ個の各皮膚の徴候診断を生成するために、複数であるＮ個の並列の皮膚徴候の分岐によって復号化するための前記最終のエンコーダ段階の特徴ネットを受信するように構成されたデコーダ段階と、を備えていても良い。前記デコーダ段階は、前記最終のエンコーダ段階の特徴ネットを処理して前記Ｎ個の並列の皮膚徴候の分岐の各々に提供するグローバルプーリング処理を備える。前記ＣＮＮは、前記ピクセルを分類して民族性ベクトルを判定するように構成されても良く、前記ＣＮＮは、前記Ｎ個の各皮膚の徴候および複数の民族性に関する皮膚の徴候データを使用して学習される。前記デコーダ段階は、前記民族性ベクトルを生成するための民族性に関する並列の分岐を備えていても良い。

【0008】

前記Ｎ個の並列の皮膚徴候の分岐の各分岐は、第１の全結合層と、それに続く第１の活性化層と、第２の全結合層と、第２の活性化層と、最終の活性化層と、を連続して備えても良く、前記Ｎ個の各皮膚の徴候診断および前記民族性ベクトルのうちの１つを含む最終値を出力する。前記最終の活性化層は、前記第２の活性化層から受信した入力スコアｘに関する以下の数式１の関数に従って定義されても良く、αは傾き、ａは下限、ｂは前記Ｎ個の各皮膚の徴候診断の各々のスコア範囲の上限である。

【数1】

【0009】

前記ＣＮＮは、（ｘ_ｉ、ｙ_ｉ）形式の複数のサンプルを用いて学習されても良く、ｘ_ｉは、ｉ番目の学習画像であり、ｙ_ｉは、グランドトゥルースの皮膚の徴候診断の対応ベクトルであり、前記ＣＮＮは、前記Ｎ個の並列の皮膚徴候の分岐、及び前記民族性に関する並列の分岐の各分岐に対する損失関数を最小化するように学習されても良い。前記ＣＮＮは、前記Ｎ個の並列の皮膚徴候の分岐のそれぞれについての損失関数Ｌ２に、前記民族性に関する並列の分岐についての標準交差エントロピー分類損失Ｌ_{ｅｔｈｎｉｃｉｔｙ}を重み付けして組み合わせた損失関数Ｌを、以下の数式３に従って最小化するように学習されても良く、λは、スコア回帰と民族性の分類損失との間のバランスを制御する。

【数3】

【0010】

前記記憶部は、前記画像を前処理するための顔およびランドマークの検出器を記憶しても良く、前記処理部は、前記顔およびランドマークの検出器を用いて前記画像から正規化された画像を生成し、前記ＣＮＮを使用する際に前記正規化された画像を使用するように構成されても良い。

【0011】

前記ＣＮＮは、Ｎ個の各皮膚の徴候診断を生成するように適合された画像分類のための学習済ネットワークから予め構成されても良く、このネットワークは、前記学習済ネットワークの全結合層を除去し、Ｎ個の各層のグループを、前記Ｎ個の各皮膚の徴候診断のそれぞれについて同じ特徴ネットを並列に復号するように定義する。

【0012】

皮膚の診断装置は、モバイル端末からなる個人用のコンピュータ装置と、通信ネットワークを介して皮膚の診断サービスを提供するサーバと、のうちの１つとして構成されても良い。

【0013】

前記記憶部は、前記処理部によって実行された時に前記Ｎ個の各皮膚の徴候診断の少なくともいくつかに対応して、製品および治療計画のうちの少なくとも１つに関する推奨事項を取得するための治療製品セレクタを提供するコードを記憶しても良い。

【0014】

前記記憶部は、前記処理部によって実行された時に前記画像を受信するための画像取得機能を提供するコードを記憶しても良い。

【0015】

前記記憶部は、前記処理部によって実行された時に少なくとも１つの皮膚の徴候に対する治療を監視するための治療モニタを提供するコードを記憶しても良い。

【0016】

前記処理部は、各治療セッションに対する製品の適用に関連する治療活動を、思い出させる、指示する、及び／又は記録する、のうちの少なくとも１つを行うように構成されても良い。

【0017】

前記処理部は、治療セッション後に受信した後続の皮膚の診断を生成するために前記ＣＮＮを用いて第２の画像を処理するように構成されても良い。前記記憶部は、前記処理部によって実行された時に前記後続の皮膚の診断を用いた比較結果の提示を行うコードを記憶しても良い。

【0018】

皮膚診断のコンピュータ実装方法であって、画像のピクセルを分類して、複数であるＮ個の各皮膚の徴候の各々についてＮ個の各皮膚の徴候診断を判定するように構成された畳み込みニューラルネットワークであるＣＮＮを記憶する記憶部を提供し、前記ＣＮＮは、前記Ｎ個の各皮膚の徴候診断を生成するように構成された画像分類のための深層ニューラルネットワークであり、前記ＣＮＮは、前記Ｎ個の各皮膚の徴候についての皮膚の徴候データを使用して学習され、前記記憶部に結合された処理部によって、前記画像を受信することと、前記ＣＮＮを用いて前記画像を処理して前記Ｎ個の各皮膚の徴候診断を生成することと、を実行する方法が提供される。

【0019】

第２の方法であって、画像のピクセルを分類して、複数であるＮ個の各皮膚の徴候の各々についてＮ個の各皮膚の徴候診断を判定するように構成された畳み込みニューラルネットワークであるＣＮＮを学習させ、前記ＣＮＮは、前記Ｎ個の各皮膚の徴候診断を生成するように構成された画像分類のための深層ニューラルネットワークであり、前記学習は、前記Ｎ個の各皮膚の徴候についての皮膚の徴候データを用いて実行される方法が提供される。

【0020】

これらの態様および他の態様は、（非一時的な）記憶部が命令を格納しており、この命令が処理部によって実行された時に本明細書に記載されているコンピュータ装置の実装方法のいずれかを実行するようにコンピュータ装置の処理を構成する、コンピュータプログラム製品の態様を含むことが当業者には明らかであろう。

【図面の簡単な説明】

【0021】

【図1】皮膚の状態を示す写真を合成したものである。

【図2】本明細書の一実施形態または例による深層学習システムの概略図である。

【図3】図２の深層学習システムのより詳細な概略図である。

【図4】本明細書の一実施形態による様々な態様の環境を提供するコンピュータネットワークの図である。

【図5】図４のコンピュータネットワークのコンピュータ装置のブロック図である。

【図6】図６（ａ）及び図６（ｂ）は、本明細書の一実施形態によるコンピュータ装置の動作のフローチャートである。

【図7】図７（ａ）及び図７（ｂ）は、本明細書の一実施形態によるコンピュータ装置の動作のフローチャートである。

【0022】

【0023】

【0024】

【0025】

【0026】

【0027】

本発明の概念は、添付の図面を参照し、本明細書で説明される特定の実施形態を通して最もよく説明され、ここで、同一の符号は全体を通して同一の特徴を指す。本明細書で使用される場合、「発明」という用語は、単に実施形態自体ではなく、以下に記載される実施形態の基礎をなす発明概念を暗示することを意図していることを理解されたい。更に、本発明の一般的な概念は、以下に記載される例示的な実施形態に限定されず、以下の説明は、そのような観点から読まれるべきであることが理解されるべきである。

【発明を実施するための形態】

【0028】

＜序文＞
本明細書における「皮膚の徴候」又は「徴候」という語は法令線、様々な位置にあるしわ、顔の下部の下垂、皮脂孔、顔全体の色素沈着、及び血管障害など（但し、これらに限定されない）、特定の皮膚の状態を指す。図１は、額のしわ１０２、眉間のしわ１０４、目の下のしわ１０６、法令線１０８、唇の角のしわ１１０、及び顔の下部の下垂１１２などの皮膚の徴候を示す写真合成物１００である。人間の顔の外観は、様々な要因によって構造的な変化を受ける。これらの要因には、年齢的な老化、光老化、食習慣（食欲不振または肥満）、生活習慣（睡眠問題、喫煙、アルコール依存など）がある。これらの構造な変化は、局所的なシワ（額、眉間、上唇など）に関するものが最も明らかであるが、顔の全体的なたるみ（眼瞼下垂、眼のたるみ、頸部の下垂など）や頬の毛穴の拡大を伴うことが多い。これらの変化は、何年も何十年もかけて僅かに進行していく可能性があるが、性別や民族によって表れ方が異なる。また、これらの変化は、皮膚の色素沈着（ほくろ、暗点、皮膚の暗色化）や皮膚の血管網（赤み、毛細血管の拡張など）に対する周知の影響（大気汚染との関連の有無に関わらず）に加えて、日光（紫外線）への様々な（複数回の）曝露によって強調される。

【0029】

いくつかの顔の徴候の重症度を等級付けすることは、皮膚科学的（皮膚剥離、矯正手術など）、美容的（スキンケア、アンチエイジング製品）、又は消費者への可能な支援／アドバイス等、異なる目的のため重要なニーズである。このようなニーズは、主な科学的な客観性に応えるだけでなく、誤った製品の請求を検出することにも役立ち得る。この等級付けの目的は、Ｌ’Ｏｒｅａｌ Ｓ．Ａの複数巻の参照用の皮膚の図版集（Ｒ．Ｂａｚｉｎ，Ｅ．Ｄｏｕｂｌｅｔ，ｉｎ：Ｐ．Ｅ．Ｍｅｄ’Ｃｏｍ（Ｅｄ．），Ｓｋｉｎ Ａｇｉｎｇ Ａｔｌａｓ．Ｖｏｌｕｍｅ１，Ｃａｕｃａｓｉａｎ Ｔｙｐｅ，２００７．Ｒ．Ｂａｚｉｎ，Ｆ．Ｆｌａｍｅｎｔ，ｉｎ：Ｐ．Ｅ．Ｍｅｄ’Ｃｏｍ（Ｅｄ．），Ｓｋｉｎ Ａｇｉｎｇ Ａｔｌａｓ．Ｖｏｌｕｍｅ２，Ａｓｉａｎ Ｔｙｐｅ，２０１０．Ｒ．Ｂａｚｉｎ，Ｆ．Ｆｌａｍｅｎｔ，Ｆ．Ｇｉｒｏｎ，ｉｎ：Ｐ．Ｅ．Ｍｅｄ’Ｃｏｍ（Ｅｄ．），Ｓｋｉｎ Ａｇｉｎｇ Ａｔｌａｓ．Ｖｏｌｕｍｅ３，Ａｆｒｏ－Ａｍｅｒｉｃａｎ Ｔｙｐｅ，２０１２．Ｒ．Ｂａｚｉｎ，Ｆ．Ｆｌａｍｅｎｔ，Ｖ．Ｒｕｂｅｒｔ，ｉｎ：Ｐ．Ｅ．Ｍｅｄ’Ｃｏｍ（Ｅｄ．），Ｓｋｉｎ Ａｇｉｎｇ Ａｔｌａｓ．Ｖｏｌｕｍｅ４，Ｉｎｄｉａｎ Ｔｙｐｅ，２０１５．Ａｎｄ，Ｆ．Ｆｌａｍｅｎｔ，Ｒ．Ｂａｚｉｎ，Ｈ．Ｑｉｕ，ｉｎ：Ｐ．Ｅ．Ｍｅｄ’Ｃｏｍ（Ｅｄ．），Ｓｋｉｎ Ａｇｉｎｇ Ａｔｌａｓ．Ｖｏｌｕｍｅ５，Ｐｈｏｔｏ－ａｇｉｎｇ Ｆａｃｅ＆Ｂｏｄｙ，２０１７）によって達成された。この皮膚の図版集は、年齢と共に４つの民族の両性別において、２０を超える顔の徴候の視覚的な等級付け（及び０～４、５、６又は７に増加する重症度の各スケール）を専門的に処理された写真によって標準化した。全体的な顔の外観に関わらず、特定の徴候をズームすることにより、皮膚の専門家は盲目的に、顔の各徴候の重症度を等級付けすることができる。これらの皮膚の図版集では、加齢によって人々に及ぼす影響は性別によって異なるが、同じ性別では影響が類似していることを示した。しかし、顔の徴候の一部の変化は、民族特有のものであった。この手法は、４つの民族の両性別において加齢に伴う顔の徴候の変化を正確に説明できるだけでなく、民族白人女性または中国人女性では、いくつかの顔の徴候が一日の労働による疲労に関係している、又はそれに関連しているという判断をもたらした。しかし、もう一つの困難で重要なステップが依然として残されている：それは、様々な現実の照明条件下や人間が活動中（仕事、スポーツ、交通機関への乗車など）に携帯電話によって撮影された写真（例えば、「セルフィー」や自撮り動画）、又は標準化された写真のいずれかを通して構造的な顔の徴候を等級付けする、人間の評価に頼らない自動的な処理を開発できないかということである。要するに、定量化されたデータを「ブラインド／ニュートラル」な自動的なシステムから得ることは、多くのアプリケーションで望まれている。

【0030】

このように、様々な年齢や民族の女性のデータを用いて開発された皮膚診断に対する深層学習のアプローチについて、このアプローチの技術的な側面および得られた結果を含めて説明する。また、専門家による等級付け（皮膚の図版集を使用）によって得られたデータとの比較も提示する。

【0031】

画像のみから皮膚の徴候を評価するという見かけ上の皮膚診断の問題は、深層学習を用いたコンピュータ実装のための教師付きの回帰問題として投げかけられる。深層学習システム２００を示す図２の概略図によって表されるように、顔の画像ｘ２０２が与えられると、システム２００のニューラルネットワーク２０４は、スコアｙ２０６のベクトルを返し、ｙ＝ｆ_θ（ｘ）であり、ｆ_θは、θによってパラメータ化されたニューラルネットワーク２０４である。ｙ２０６の各成分は、異なる皮膚の徴候に対応する。民族性のような要素や他の皮膚の評価も、更に説明するように決定され得る。

【0032】

皮膚の徴候ごとに別々のニューラルネットワークをデザインすることは可能だが、徴候間で学習された低レベルの特徴が類似しているため、上記のアプローチの実装では、全ての徴候を単一のネットワークによって共同で推定できる。副次的な利点は、より高い計算効率である。

【0033】

ニューラルネットワークをゼロから設計するのではなく、様々なタスクで上手く機能することが証明されたアーキテクチャを適合させることができる。特に、ＲｅｓＮｅｔ５０（Ｍｉｃｒｏｓｏｆｔ Ｒｅｓｅａｒｃｈ Ａｓｉａによる５０層の残差ネットワークであり、Ｋ．Ｈｅ，Ｘ．Ｚｈａｎｇ，Ｓ．Ｒｅｎ，Ｊ．Ｓｕｎ，Ｄｅｅｐ Ｒｅｓｉｄｕａｌ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ，ｉｎ：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ａｎｄ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ，２０１６，ｐｐ．７７０－７７８に記載され、その全体が本明細書に組み込まれる）及びＭｏｂｉｌｅＮｅｔＶ２（Ｇｏｏｇｌｅ社による深さ方向に分離可能な畳み込みニューラルネットワークの第２バージョンであり、Ｍ．Ｓａｎｄｌｅｒ，Ａ．Ｈｏｗａｒｄ，Ｍ．Ｚｈｕ，Ａ．Ｚｈｍｏｇｉｎｏｖ，Ｌ．－Ｃ．Ｃｈｅｎ，Ｉｎｖｅｒｔｅｄ Ｒｅｓｉｄｕａｌｓ ａｎｄ Ｌｉｎｅａｒ Ｂｏｔｔｌｅｎｅｃｋｓ：Ｍｏｂｉｌｅ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ，Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｓｅｇｍｅｎｔａｔｉｏｎ，ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１８０１．０４３８１，１３ Ｊａｎ．２０１８に記載され、その全体が本明細書に組み込まれる）のアーケテクチャを適用できる。

【0034】

ＲｅｓＮｅｔ５０とＭｏｂｉｌｅＮｅｔＶ２は、ＩｍａｇｅＮｅｔ（分類用の画像データを集めたオープンソースのデータベース）で学習した畳み込みニューラルネットワークである。ＲｅｓＮｅｔ５０は、多くの最先端のシステムのバックボーンとして使用されており、ＭｏｂｉｌｅＮｅｔＶ２は、実行時間と記憶領域が気になる場合に、精度を適度に落として使用できる、より効率的なネットワークである。分類に使用する場合、これらの各ネットワークには、低解像度であるが強力なＣＮＮの特徴のセットをもたらす大規模な完全畳み込み部分が含まれており（例えば、エンコーダ段階）、続いてグローバル・マックス（ｇｌｏｂａｌ ｍａｘ）プーリング層又はグローバル・アベレージ（ｇｌｏｂａｌ ａｖｅｒａｇｅ）プーリング層、全結合層、最終的な分類層が続きます（デコーダ段階）。それぞれが適応するための良い候補となります。

【0035】

図３は、ＲｅｓＮｅｔ５０又はＭｏｂｉｌｅＮｅｔＶ２などのソースネットワークからの層（例えば、それぞれの処理を有する構成要素）によって定義されるエンコーダ部（ｅｎｃｏｄｅｒ ｃｏｍｐｏｎｅｎｔｓ）３０２と、デコーダ部（ｄｅｃｏｄｅｒ ｃｏｍｐｏｎｅｎｔｓ）３０４とを備えるニューラルネットワーク２０２をより詳細に示す深層学習システム２００の概略図である。デコーダ部３０４はグローバル・マックスプーリング層３０６と、出力ベクトル２０６内のＮ個の皮膚の徴候の各々を復号化するための各並列分岐（ｐａｒａｌｌｅｌ ｂｒａｎｃｈｅｓ）（例えば、簡略化のために示された３０８、３１０、及び３１２であり、Ｎ個の皮膚の徴候に対してＮ＋１個の並列分岐があることが理解される）と、民族性ファクタ（出力３１４）とを備える。

【0036】

最終の分類層だけを置き換えるのではなく、ソースネットワークの各々をプーリング層の後にクロッピング（切り取り）して特徴ネット（ニューラルネットワーク２０４）を構築する。具体的には、ＲｅｓＮｅｔ５０がその平均プーリング層の後にクロッピングされ、平均プーリング層は、グローバル・マックスプーリング層（例えば、３０６）に置き換えられ、１×１×２０４８の特徴ベクトルを生成する。同様に、ＭｏｂｉｌｅＮｅｔＶ２については、全結合層が切り取られ、平均プーリング層がグローバル・マックスプーリング層に置き換えられ、新しい特徴ネットが１×１×１２８０の特徴ベクトルを出力する。並列分岐３０８、３１０、３１２の各々は、グローバル・マックスプーリング層３０６からの出力を受け取る。

【0037】

この初期の分岐（ブランチ）の選択を行うのは、異なる皮膚の徴候が、潜在的に異なる画像の特徴に依存するためであり、この選択は実験を通して検証される。各皮膚の徴候の分岐（各並列分岐３０８、３１０のうちの１つ）は、活性化層に続く２つの全結合層で構成される。最初に、入力サイズをプーリング後の特徴サイズ（例えば、それぞれ、１×１×２０４８または１×１×１２８０）、出力サイズを５０とする全結合層で特徴ネット（ＲｅｓＮｅｔ５０又はＭｏｂｉｌｅＮｅｔ）を接続し、それに続いてＲｅＬＵ活性化層（例えば、正規化線形活性化ユニット）を接続する。次に、入力サイズ５０、出力サイズ１の第２の全結合層の後に、最終スコアを出力するカスタマイズされた活性化層が続く。

【0038】

このシステムは、本明細書中で上記に参照したように、Ｌ’Ｏｒｅａｌによって維持される国際的に許容された皮膚スコアの図版集に準拠しており、そして結果として、皮膚の徴候は、それらのタイプ、人の民族性、及び性別に応じて個々のスケールを有する。なぜなら、皮膚の徴候の各々には境界があるためである。最後の層には、純粋な線形の回帰層や、他の活性化関数ではなく、カスタムの関数、即ちＬｅａｋｙ ＲｅＬＵのような活性化関数（ＬｅａｋｙＣｌａｍｐと呼ばれる）が使用される。Ｌｅａｋｙ ＲｅＬＵは、Ａ．Ｌ．Ｍａａｓ，Ａ．Ｙ．Ｈａｎｎｕｎ，Ａ．Ｙ．Ｎｇ，Ｒｅｃｔｉｆｉｅｒ Ｎｏｎｌｉｎｅａｒｉｔｉｅｓ Ｉｍｐｒｏｖｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ａｃｏｕｓｔｉｃ Ｍｏｄｅｌｓ，ｉｎ：Ｐｒｏｃ．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ，Ｖｏｌ．３０，２０１３，ｐ．３，に記載され、参照により本明細書に組み込まれる。Ｌｅａｋｙ ＲｅＬＵは、ｘ＜０である場合の「ｄｙｉｉｎｇ ＲｅＬＵ」の問題に対処しようとするものである。標準的なＲｅＬＵ関数がｘ＜０の時に０になるが、Ｌｅａｋｙ ＲｅＬＵは小さな負の傾き（例えば、０に近い０．０１程度の傾き）を有する。

【0039】

ＬｅａｋｙＣｌａｍｐは、最小の活性化（ｍｉｎ－ａｃｔｉｖａｔｉｏｎ）以下および最大の活性化（ｍａｘ－ａｃｔｉｖａｔｉｏｎ）以上では０に近い傾きを持ち、最大の活性化は、以下の数式１のように徴候（ｓｉｇｎ）によって異なっている。αは傾き、ａは下限、ｂはスコア範囲の上限である。学習では、αを０．０１、ａ、ｂを各徴候のスコア範囲とするように選択する。

【数1】

【0040】

本明細書の評価の項で更に説明されるように、深層学習ネットワークを学習させるために、ｘｉがｉ番目の学習画像であり、ｙｉがスコアのベクトルである（ｘｉ、ｙｉ）という形式の多数のサンプルを取得して使用する。最適なパラメータθのセットを見つけるために、損失関数が最小化される。いくつかの損失関数を用いて実験を行ったが、一方が他方より優れていることは見出されなかった。

【0041】

従って、標準的なＬ２損失（数式２）は最小化され、本明細書に示されるデータで使用され、ここで、Ｌ２は下記の数式２で示される。

【数2】

【0042】

更に、皮膚のスコアの民族性に依存することから、独自のコンポーネント構造と標準的な交差エントロピー分類損失のＬ_{ｅｔｈｎｉｃｉｔｙ}を有する別個の民族性予測の分岐（各並列分岐３１２のうちの１つ）が定義される。民族性の分岐（３１２）は、入力サイズを特徴サイズとし、出力サイズを民族性の個数とする１つの全結合層を有する。追加の損失Ｌ_{ｅｔｈｎｉｃｉｔｙ}は、学習を正しい方向に導くのに役立つが、試験時にも役立ち、個人の民族グループを使用することによって出力スコアを正しく解釈できるようになる。Ｌ２損失および交差エントロピー分類損失のＬ_{ｅｔｈｎｉｃｉｔｙ}は、以下の数式４に示すように、重みλと合わせて損失Ｌとなる。λは、スコア回帰と民族性の分類損失の間のバランスを制御する。学習ではλ＝０．００２を用いた。

【数4】

【0043】

一般的な転移学習の手法に従い、ネットワークはＩｍａｇｅＮｅｔ上で事前に学習され、次いで、上記の損失を使用して（例えば、最小化して）、皮膚の診断データ上で微調整される。また、ＩｍａｇｅＮｅｔの事前学習の手順と同様に、［０．４８５、０．４５６、０．４０６］を中心とし、［０．２２９、０．２２４、０．２２５］の標準偏差で画像の正規化が適用される。アダムオプティマイザ（Ａｄａｍ ｏｐｔｉｍｉｚｅｒ）は、確率的な目的関数の一次勾配ベースの最適化を行い、学習率は０．０００１、バッチサイズ１６で学習プロセスを微調整する。アダムオプティマイザは、Ｄ．Ｐ．Ｋｉｎｇｍａ，Ｊ．Ｂａ，Ａｄａｍ：Ａ ｍｅｔｈｏｄ ｆｏｒ ｓｔｏｃｈａｓｔｉｃ ｏｐｔｉｍｉｚａｔｉｏｎ，ＣｏＲＲ ａｂｓ／１４１２．６９８０．ａｒＸｉｖ：１４１２．６９８０ ａｓ ｅａｒｌｙ ａｓ ２２ Ｄｅｃ．２０１４に記載されており、参照により本明細書に組み込まれる。

【0044】

消費者向けの用途を含め、見かけ上の皮膚診断には、多くの科学的、商業的および他の用途がある。制御された照明条件で画像を撮影し、標準化された姿勢を利用することによって、そのような幾つかの用途のための撮影条件を制御することは可能であるが、そのようなことは、特に消費者向けの用途では実現不可能の場合がある。従って、深層学習システムは、様々な照明条件や顔の姿勢を取り扱うことができることが望ましい。更に図３を参照すると、後者に対処するための一例として、ソース入力画像３１８上の顔のランドマーク検出器３１６（Ｖ．Ｋａｚｅｍｉ，Ｊ．Ｓｕｌｌｉｖａｎ，Ｏｎｅ ｍｉｌｌｉｓｅｃｏｎｄ ｆａｃｅ ａｌｉｇｎｍｅｎｔ ｗｉｔｈ ａｎ ｅｎｓｅｍｂｌｅ ｏｆ ｒｅｇｒｅｓｓｉｏｎ ｔｒｅｅｓ，ｉｎ：ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２０１４，ｐｐ．１８６７－１８７４に記載され、参照により本明細書に組み込まれる）を用いて、検出されたランドマークに基づいて顔（出力画像２０２）を正規化するために画像を前処理しても良い。このように、入力された顔画像ｘは、常に一定のスケールでの顔の直立した正面画像となる。

【0045】

学習中、ランドマークベースのクロッピングの後でも、任意のスケール変動に対応するために、様々なスケールのクロッピング（０．８から１．０までランダムに選択される）で学習データを増強しても良い。画像をランダムにクロッピングした後、各入力画像は、４４８ピクセル×３３４ピクセルの解像度にリサイズされる（例えば、ソースネットワークの予想される入力解像度に合うように）。更に、選択された画像は、学習中に０．５の確率で水平方向にランダムに反転される。また、照明の変動に対応するために、本願明細書の評価項で述べるように、様々な照明条件の画像を用いて学習が行われる。
＜評価＞

【0046】

このモデルは、以下の９つの皮膚の徴候に従って女性画像の２つのデータセットで評価された学習結果である。
・法令線
・眉間のしわ
・額のしわ
・目の下のしわ
・唇の角のしわ
・顔の下部の下垂
・頬の皮脂腺の毛穴
・顔全体の色素沈着
・血管障害

【0047】

最後の２つの皮膚の徴候は、白人およびアジア人の民族に対してのみ定義されていることに注意されたい。第１のデータセットは、プロ用のカメラを用いて、理想的な照明と顔の姿勢で制御された実験室条件で撮影した５８３４人の女性画像（以下「分析データセット」という）で構成されている。このデータセットの全ての画像が９つの徴候全てのグランドトゥルースを含んでいるわけではないことに注意されたい。第２のデータセットは、照明が制御されていない条件下で携帯電話で撮影した自撮り画像（以下「自撮りデータセット」という）で構成されている。このデータセットには、３つの民族（白人、アジア人、アフリカ人）の女性３８０人の画像を含み、それぞれの人物が、屋外の昼光、屋内の昼光、屋内の人工的な拡散光、及び屋内の人工的な直射光の４つの異なる照明条件で撮影される。その結果、全体で４５６０枚の画像が得られた。両方のデータセットについて、データの９０％を学習に使用し、１０％を試験に使用した。同様に、いずれのケースにおいても、分析データセットの一部の画像には不要ではあるが、同じ顔の正規化の構成（フレームワーク）が適用される。この構成では、一部の画像で顔や顔のランドマークを検出することができず、学習や試験のデータ量が若干減少する。

【0048】

両方のデータセットは専門の皮膚科医によって手動で注釈付けされ、各画像は１０～１２人の専門家によって注釈付けされた。専門家の予想の平均値をグランドトゥルースとする。

【0049】

男性の画像に関する学習が行われることがある。鮮明な画像を得るために、顔の毛が無いことなどの画像条件を課しても良い。顔の毛は、顔の毛で覆われた皮膚領域の徴候のスコアに大きな影響を及ぼすだけでなく、全ての徴候について特徴を合わせて学習するため、これは学習の全体にも影響を与える。男性と女性の皮膚の徴候は同じである。

【0050】

ニューラルネットワーク２０２で構成される学習済みの深層学習システム２００を評価するために、いくつかの尺度が使用される。民族の予知のために、正しく分類された割合が測定される。分析データセット及び自撮りデータセットの試験精度は、それぞれ９９．７％および９８．２％である。皮膚のスコアについては、２種類の測定値が使用される。第１は平均絶対誤差（Ｍ ＡＥ）であり、これは、全てのサンプルにおける予測値とグランドトゥルース値との間の絶対差の平均である。しかし、より有意義な誤差測度は、絶対誤差がある閾値（％（Ｍ ＡＥ＜Ｔ））以下であるサンプルの割合である。用途によってはこの閾値が多かれ少なかれ厳密になる可能性がある。従って、この誤差測定値はいくつかの異なる閾値について報告される。以下は、分析データセット及び自撮りデータセットの両方の結果である。

【0051】

表１は、分析データセットの結果を示し、表２は、自撮りデータセットの結果を示す。例えば、スコアの典型的な範囲は０～５～１０であるが、深層学習システム２００は、任意の皮膚の徴候について９０％以上で１の絶対誤差内のスコアを予測することができることに留意されたい（いくつかの徴候については、より正確である）。

【表1】

【表2】

【0052】

自撮りデータセット（表２）では、制御されていない照明条件にも関わらず、ほとんどの場合、結果は更に良好である。しかし、専門家自身の間で、また同じ専門家の異なる照明条件間でさえ、スコアに非常に大きなばらつきがあることも観察される。従って、グランドトゥルースには偏りがあり、システム２００が内部的に証明条件の予測を学習して、スコアをより良く予測している可能性が高い。様々な照明条件の間で、より一貫性のあるグランドトゥルースを収集することが助けになり得る。

【0053】

しかしながら、現時点では「出回っている（ｉｎ－ｔｈｅ－ｗｉｌｄ）」画像に基づいて皮膚の徴候をスコア付けすることは、専門の皮膚科医にとっても困難な課題であり、この課題においてシステム２００がそれを上回る性能を有することを示している。これは、表３に示されるように、各画像の絶対誤差は、各画像が平均して１２人の専門家によってスコア付けされ、各専門家の予測とこの画像の平均的な専門家の予測とを比較することによって計算された。表２と表３を比較することにより、システム１００は、顔全体の色素沈着を除いて、全ての徴候について専門家よりも正確であることが分かる。

【表3】

【0054】

自撮りデータの画像ベースのスコアに関するモデルの検証に加えて、皮膚科医がその人の皮膚状態の徴候をスコア付けすることができた被験者のサブセットについても検証を実施した。皮膚科専門医は、６８名（１被験者あたり約１２名の専門家）から訪問を受け、被験者の画像ベースのスコアに関係なく、ライブで評価を行った。画像ベースの分析と同様に、各皮膚状態の徴候について、１）システム２００のモデルについて、モデルからの予測と、特定の被験者の徴候に対する専門家の平均スコアとを比較すること、及び２）各専門家による対面での評価については、各専門家のスコアのベクトルと、この被験者に対する専門家の平均スコアのベクトルとを比較することによって、平均絶対誤差を算出した。モデルのパフォーマンス（表４）及び専門家のパフォーマンス（表５）に関する２つの表が以下に示される。画像ベースのスコアリングの場合と同様に、専門家による対面でのスコアリングの場合でも、システム２００からの自動的なスコア予測は、専門の皮膚科医による予測よりも高い精度をもたらし、これは、全ての徴候についてである。

【表4】

【表5】

【0055】

表４、５の結果をより深く把握するために、表２、３と同様の検証解析を行うが、その際、実際に評価対象となった６８名のサブセットのみを用いている。その結果を以下の表６及び表７に示す。この場合も、システム２００からのモデルスコアの予測では、専門家のスコアリングよりも著しく高い精度が得られる。

【表6】

【表7】

【0056】

図４は、例示的なコンピュータネットワーク４００のブロック図であり、ユーザ４０４によって操作される個人的使用のコンピュータ装置４０２が、通信ネットワーク４０４を介して、遠隔に位置するサーバコンピュータ装置、即ちサーバ４０６及びサーバ４０８と通信している。。ユーザ４０４は、皮膚科医の患者および／又は消費者であっても良い。また、第２のユーザ４１０と通信ネットワーク４０４を介して通信するように構成された第２のコンピュータ装置４１２も示されている。第２のユーザ４１０は、皮膚科医であっても良い。コンピュータ装置４０２は、ユーザが個人的に使用するためのものであり、サーバからのサービスのように、公衆が利用することはできない。ここで、公衆とは、登録されたユーザ及び／又は顧客等を含む。

【0057】

簡潔には、コンピュータ装置４０２は、本明細書に記載されるように皮膚の診断を実行するように構成される。ニューラルネットワーク２００は、ボード上のコンピュータ装置４０２上に格納されて利用されても良いし、コンピュータ装置４０２から受信した（複数の）画像からのクラウドサービス、ウェブサービスなどを介してサーバ４０６から提供されても良い。

【0058】

コンピュータ装置４０２は、例えば、皮膚診断の情報を提供し、皮膚診断および／又はユーザに関する他の情報（例えば、年齢、性別など）に応じて、製品／推奨される治療法を受信するために、サーバ４０８と通信するように構成される。コンピュータ装置４０２は、皮膚診断の情報（画像データを含んでも良い）を、例えば、データストア（図示せず）に記憶するために、サーバ４０６及び４０８のいずれかまたは両方に伝達するように構成され得る。サーバ４０８（又は図示しない別のサービスの提供者）は、推奨される（複数の）商品を販売するための電子商取引のサービスを提供することができる。

【0059】

コンピュータ装置４０２は、携帯モバイル端末（例えば、スマートフォン又はタブレット）として示されている。しかし、ラップトップ、デスクトップ、ワークステーションなどの別のコンピュータ装置であっても良い。本明細書に記載される皮膚診断は、他のコンピュータ装置に実装されても良い。コンピュータ装置４０２は、例えば、１又は複数のネイティブアプリケーション又はブラウザベースのアプリケーションを使用して構成されても良い。

【0060】

コンピュータ装置４０２は、例えば、皮膚、特に顔の写真のような１又は複数の画像を取得し、画像を処理して皮膚診断を提供するユーザデバイスを備えても良い。皮膚診断は、画像を定期的に取得して分析し、１又は複数の皮膚の徴候に対する皮膚のスコアを決定する皮膚治療のプランに関連して実行されても良い。スコアは（ローカル、リモート、又はその両方で）記憶され、例えば傾向や改善点などを示すためにセッション間で比較されても良い。皮膚のスコアおよび／又は皮膚の画像は、コンピュータ装置４０２のユーザ４０４にアクセス可能であっても良く、皮膚科医などのコンピュータシステム４００の別のユーザ（例えば、第２のユーザ４１０）が利用できるように（例えば、サーバ４０６を介して、又は通信ネットワーク４０４を介して別の方法で（電子的に）通信されるように）構成しても良い。また、第２のコンピュータ装置４１２は、上記に説明した皮膚診断を実行しても良い。それは、リモートソース（例えば、コンピュータ装置４０２、サーバ４０６、サーバ４０８等）から画像を受信しても良く、及び／又はそれに結合された光学センサ（例えば、カメラ）を介して、又は任意の他の方法で画像をキャプチャしても良い。ニューラルネットワーク２００は、説明されるように、第２のコンピュータ装置４１２から、又はサーバ４０６から、記憶および使用されても良い。

【0061】

皮膚診断を実行し、１又は複数の製品を提案し、１又は複数の製品を適用（治療プランにおける治療セッションを定義しても良い）した後の皮膚の変化をある期間にわたってモニタリングするアプリケーションを提供しても良い。コンピュータ・アプリケーションは、以下のアクティビティのいずれかを実行するために、一連の指示的なグラフィカル・ユーザ・インタフェース（ＧＵＩ）及び／又は他のユーザ・インタフェース（通常は対話的であり、ユーザの入力を受け取る）などのワークフローを提供しても良い。
・皮膚診断
・治療計画などの製品の推奨事項
・製品の購入やその他の取得
・各治療セッションでの製品の使用を思い出させる、指示する、及び／又は記録する（例えば、ログを記録する）
・その後の（例えば、１回以上のフォローアップ）皮膚診断
・結果（例えば比較結果）の提示
例えば、皮膚治療の計画の進捗をモニタリングするために、治療計画のスケジュールに従ってデータを生成することもできる。これらのアクティビティのいずれも、例えば、ユーザ４１０がレビューするため、別の個人がレビューするため、他のユーザのデータと集約して治療計画の有効性を測定するためなどのために、遠隔的に記憶されるデータを生成できる。

【0062】

比較結果（例えば、前後の結果）は、治療計画の最中および／又は完了時などに関わらず、コンピュータ装置４０２を介して提示しても良い。上述したように、皮膚診断の態様は、コンピュータ装置４００上で、又は遠隔的に結合されたデバイス（例えば、クラウド内のサーバ又は別の構成）によって実行することができる。

【0063】

図５は、本発明の１又は複数の態様によるコンピュータ装置４０２の構成図である。コンピュータ装置４０２は、１又は複数のプロセッサ５０２、１又は複数の入力装置５０４、ジェスチャベースの入出力装置５０６、１又は複数の通信ユニット５０８、及び１又は複数の出力装置５１０を備える。コンピュータ装置４０２はまた、１又は複数のモジュール及び／又はデータを記憶する１又は複数の記憶装置５１２を含む。モジュールは、深層ニューラルネットワーク・モデル５１４、グラフィカル・ユーザ・インターフェース（ＧＵＩ ５１８）のためのコンポーネントを有するアプリケーション５１６、及び／又は治療のモニタリングのためのワークフロー（例えば、治療モニタ５２０）、画像取得５２２（例えば、インターフェース）、及び治療／製品セレクタ５３０（例えば、インターフェース）を含んでも良い。データは、処理のための１つ以上の画像（例えば、画像５２４）、皮膚診断データ（例えば、それぞれのスコア、民族、又は他のユーザデータ）、具体的な治療に関連するログデータ、リマインダ用などのスケジュールを伴う治療計画などの治療データを含んでも良い。

【0064】

アプリケーション５１６は、映像などの１又は複数の画像を取得し、画像を処理して、ニューラルネットワークモデル５１４によって提供される深層ニューラルネットワークの皮膚診断を判定する機能を提供する。ネットワークモデルは、図２及び図３に示すモデルとして構成しても良い。別の実施形態では、ネットワークモデルは遠隔地に配置され、コンピュータ装置４０２は、アプリケーション５１６を介して、皮膚診断のデータの処理および返送のために画像を通信することができる。アプリケーション５１６は、前述の活動を実行するように構成され手も良い。

【0065】

（複数の）記憶装置５１２は、処理システム５３２や、通信モジュール、画像処理モジュール（例えば、プロセッサ５０２のＧＰＵ用）、地図モジュール、連絡先モジュール、カレンダモジュール、写真／ギャラリーモジュール、写真（画像／メディア）エディタ、メディアプレーヤ及び／又はストリーミングモジュール、ソーシャルメディアアプリケーション、ブラウザモジュールなどを含む、他のモジュール（図示せず）などの追加のモジュールを記憶しても良い。記憶装置は、本明細書では記憶ユニットとして参照されることがある。

【0066】

通信チャンネル５３８は、コンポーネント５０２、５０４、５０６、５０８、５１０、５１２のそれぞれや、コンポーネント間通信のための任意のモジュール５１４、５１６、及び５３２を、通信的、物理的、及び／又は動作的に結合することができる。いくつかの例では、通信チャンネル５３８がシステムバス、ネットワーク接続、プロセス間通信データ構造、又はデータを通信するための他の任意の方法を含んでも良い。

【0067】

１又は複数のプロセッサ５０２は、コンピュータ装置４０２内で機能性を実装し、及び／又は命令を実行することができる。例えば、プロセッサ５０２は、図５に示されているモジュールの機能性（例えば、処理システム、アプリケーションなど）を実行するために、記憶装置５１２から命令および／又はデータを受信するように構成されても良い。コンピュータ装置４０２は、データ／情報を記憶装置５１２に記憶しても良い。機能のいくつかは、本明細書において以下に更に説明される。処理は、図５のモジュール５１４、５１６、及び５３２内に正確に含まれない場合があり、１つのモジュールが他のモジュールの機能を支援する場合があることを理解されたい。

【0068】

処理を実行するためのコンピュータプログラムコードは、１又は複数のプログラミング言語、例えば、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、又は「Ｃ」プログラミング言語や同様のプログラミング言語等、従来のオブジェクト指向プログラミング言語の任意の組合せで記述できる。

【0069】

コンピュータ装置４０２は、ジェスチャベースの入出力装置５０６のスクリーン上に表示するための出力を生成しても良く、いくつかの例では、プロジェクタ、モニタ、又は他の表示デバイスによる表示のための出力を生成しても良い。ジェスチャベースの入出力装置５０６は、様々な技術（例えば、抵抗式タッチスクリーン、表面弾性波タッチスクリーン、静電容量式タッチスクリーン、投影型静電容量式タッチスクリーン、感圧スクリーン、音響パルス認識タッチスクリーン、又は別のタッチ感応スクリーン技術、及び出力能力：液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、ドットマトリクスディスプレイ、ｅインク、又は同様のモノクロ又はカラーディスプレイ）を使用して構成され得ることが理解されるのであろう。

【0070】

本明細書で説明する例では、ジェスチャベースの入出力装置５０６は、タッチスクリーンと対話するユーザから触覚的な対話またはジェスチャを入力として受信することができるタッチスクリーンデバイスを含む。そのようなジェスチャは、タップジェスチャ、ドラッグジェスチャ又はスワイプジェスチャ、フリックジェスチャ、ユーザがジェスチャベースの入出力装置５０６の１又は複数の位置にタッチ又はポイントするジェスチャの一時停止（例えば、ユーザが少なくとも閾値時間にわたってスクリーンの同じ位置にタッチする場合）を含むことができる。ジェスチャベースの入出力装置５０６は、ノンタップジェスチャを含むこともできる。ジェスチャベースの入出力装置５０６は、グラフィカルユーザインターフェースなどの情報をユーザに出力または表示することができる。ジェスチャベースの入出力装置５０６は、コンピュータ装置４０２の様々なアプリケーション、機能、及び能力を提示することができ、これらには、例えば、画像を取得し、画像を閲覧し、画像を処理し、新しい画像を表示するためのアプリケーション５１６、メッセージングアプリケーション、電話通信、連絡先およびカレンダアプリケーション、ウェブブラウジングアプリケーション、ゲームアプリケーション、電子書籍アプリケーション及び金融、支払い、並びに他のアプリケーションまたは機能を含む。

【0071】

本発明は主に入出力能力を有するディスプレイスクリーンデバイス（例えば、タッチスクリーン）の形態のジェスチャベースの入出力装置５０６について説明するが、動きを検出することができ、スクリーン自体を含まない他のジェスチャベースの入出力装置を利用できる。そのようなケースでは、コンピュータ装置４０２がディスプレイスクリーンを含むか、又はアプリケーション５１６の新しい画像およびＧＵＩを提示するためにディスプレイ機器に結合される。コンピュータ装置４０２は、トラックパッド／タッチパッド、１又は複数のカメラ、又は別のプレゼンス又はジェスチャ感知入力装置からジェスチャベースの入力を受信することができ、プレゼンスは例えば、ユーザの全部または一部の動きを含むユーザのプレゼンス態様を意味する。

【0072】

１又は複数の通信ユニット５０８は、１又は複数のネットワーク上でネットワーク信号を送信および／又は受信することによって、通信ネットワーク４０４などを介して、説明した目的および／又は他の目的（例えば、プリント）などのために、外部デバイス（例えば、サーバ４０６、サーバ４０８、第２のコンピュータ装置４１２）と通信しても良い。通信ユニットは、無線および／又は有線通信のための様々なアンテナ及び／又はネットワークインターフェースカード、チップ（例えば、全地球測位衛星（ＧＰＳ））などを含んでも良い。

【0073】

入力装置５０４及び出力装置５１０は、１又は複数のボタン、スイッチ、ポインティングデバイス、カメラ、キーボード、マイクロフォン、１又は複数のセンサ（例えば、バイオメトリックなど）、スピーカ、ベル、１又は複数のライト、触覚（振動）デバイスなどのいずれかを含んでも良い。１又は複数のそれらを、ユニバーサルシリアルバス（ＵＳＢ）又は他の通信チャンネル（例えば５３８）を介して結合することができる。カメラ（入力装置８０４）はユーザが「自撮り」を撮るためにジェスチャベースの入出力装置５０６を見ながら、カメラを使用して（複数の）画像をキャプチャすることを可能にするために、前方に向けられても良い（即ち、同じ側に向けられても良い）。

【0074】

１又は複数の記憶装置５１２は、例えば、短期メモリまたは長期メモリとして、異なる形態および／又は構成をとっても良い。記憶装置５１２は、揮発性メモリとしての情報の短期記憶のために構成されても良く、この揮発性メモリは、電力が除去されたときに記憶された内容を保持しない。揮発性メモリには、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）などがある。記憶デバイス５１２は、いくつかの例では、例えば、揮発性メモリよりも大量の情報を記憶し、及び／又は電力が除去されても情報を保持してその情報を長期にわたって記憶するために、１又は複数のコンピュータ可読記憶媒体も含む。不揮発性メモリの例には、磁気ハードディスク、光ディスク、フロッピーディスク、フラッシュメモリ、又は電気的にプログラム可能なメモリ（ＥＰＲＯＭ）又は電気的に消去およびプログラム可能な（ＥＥＰＲＯＭ）メモリの形態が含まれる。

【0075】

図示されていないが、コンピュータ装置は、例えば、図３に示すようなネットワークを適切な学習および／又は試験データと共に使用して、ニューラルネットワークモデル５１４を学習させるための学習環境として構成されても良い。

【0076】

深層ニューラルネットワークは、ラップトップ、デスクトップ、ワークステーション、サーバ、又は他の同等の世代のコンピュータ装置などの「より大きい」装置よりも少ない処理リソースを有するモバイル端末（例えば、スマートフォン又はタブレット）であるコンピュータ装置のためのライトアーキテクチャに適合させることができる。

【0077】

一態様では、深層ニューラルネットワークモデルは、個々の標準的な畳み込みが深さ方向の畳み込み（ｄｅｐｔｈｗｉｓｅ ｃｏｎｖｏｌｕｔｉｏｎ）と点方向の畳み込み（ｐｏｉｎｔｗｉｓｅ ｃｏｎｖｏｌｕｔｉｏｎ）とに因数分解される畳み込みからなる、深さ方向に分離可能な畳み込みニューラルネットワークとして構成することができる。深さ方向の畳み込みは各入力チャンネルに単一フィルタを適用することに制限され、点方向の畳み込みは、深さ方向畳み込みの出力を結合することに制限される。

【0078】

第２のコンピュータ装置４１２は、コンピュータ装置４０２と同様に構成されても良いことが理解される。第２のコンピュータ装置４１２は、様々なユーザに対してサーバ４０６に記憶されたデータから画像および皮膚の徴候診断を要求して表示するなどのＧＵＩを有しても良い。

【0079】

図６，７は、例えば、コンピュータ装置４０２（又は４１０）の各処理６００、６１０、６２０、及び６３０のフローチャートである。処理６００は、コンピュータ装置４０２のユーザが、アプリケーション５１６などのアプリケーションを使用して、ユーザの顔の画像を含む自撮りをし、複数（Ｎ）の各皮膚の徴候に対する皮膚診断を実行することに関する。６０１において、画像は、カメラ又は他の方法（例えば、メッセージの添付ファイルから）を介して、プロセッサで受信される。

【0080】

６０２では、画像を前処理し、ＣＮＮに提示する正規化された画像を定義する。画像は、ＣＮＮの学習に従って、同じようなサイズの画像をＣＮＮに提示するために、センタリングされ、所定のサイズ（解像度）にトリミングされても良い。６０３では、正規化された画像がＣＮＮ（ニューラルネットワークモデル５１４）を使用して処理され、Ｎ個の皮膚の徴候診断の結果を生成する。また、民族ベクトルも生成される。Ｎ個の皮膚の徴候診断および民族性ベクトル（又はその単一の値）は、画像および／又は正規化された画像を提示することもできるＧＵＩなどを介して６０４で提示される。画像を提示することは、どの顔の領域がどの皮膚の徴候に関連しているかを示す、Ｎ個の皮膚の徴候の各々（又は少なくとも１つ）について、画像（又は正規化された画像）をセグメント化することを含んでも良い。画像からの抽出は、例えば、境界ボックス及び／又はマスクを使用して、ＧＵＩで提示するために準備された部位を分離するなどして皮膚の徴候を行っても良い。ＣＮＮは、各（又は少なくとも１つの）特定の領域についての境界ボックス及び／又はマスクを構成するセグメンテーション関連のデータを出力するように構成されても良い。画像には、拡張現実または仮想現実などの技術を用いて注釈を付けて、領域を強調表示しても良い。例えば、画像内の領域の関連ピクセルを強調表示することができる。画像（又は正規化された画像）を示すＧＵＩが提供されても良い。ポインティングデバイス又はジェスチャなど入力を受けて、ＣＮＮによって皮膚の徴候診断が生成された領域の１つ以上のピクセルを示したり選択したりしても良い。示された領域の外側のピクセルは、その領域のマスク及び／又は境界ボックスを使用して、選択された領域のピクセルを強調するためにぼかされても良い。また、ぼかすのではなく、領域の外にあるピクセル、例えば境界線内（例えば、１～Ｘピクセル）のピクセルを強調色で着色して領域を取り囲み、ハロー効果を出しても良い。領域に隣接するピクセルはより暗く（色が濃く）、領域から離れた（境界線内の）ピクセルはより明るい色になっていても良い。異なる徴候は、異なる色の境界線を持つ可能性がある。その領域の皮膚の徴候診断が表示されても良い。色は、スケーリング係数を使用するなど、皮膚の徴候診断の結果に比例する重症度を示すために使用されても良い。特定の皮膚の徴候診断に単一の色を使用し、その色の深さ（例えば、明るい色から暗い色）を皮膚の徴候診断のスケールに比例して調整しても良い。別の例では、皮膚の徴候診断のスケールの各レベルに異なる色を使用しても良い。ＧＵＩが深さによって変化する単一の色を示すか、異なる色を使用するかに関わらず、スケールとの関係を示す色の凡例を提供しても良い。画像に適用される拡張現実または仮想現実をオン／オフ、例えば、強調表示をオン／オフするために、ユーザのトグルコントロールを提供しても良い。皮膚の徴候診断の各々（例えば、各重症度および各皮膚の徴候に対して１つ）を示す他人の代表的な画像を示す分析例の画像（又は特定の患部の抽出物）を比較対象として提示しても良く、そのような例は、他人のプライバシを尊重する方法で示されても良い。以下で更に説明するように、製品および／又は治療の推奨を提示しても良い。更に後述するように、治療の前後の画像（例えば、後の画像は１つ以上の治療の後に撮影された後続の画像を表し、比較対象として用意された後続の皮膚の徴候診断を有していても良い。また、画像を介して入力されたジェスチャが領域を選択または指示することが説明したが、例えば、所定の皮膚の徴候の入力を受信することによって領域を自動的に選択するＧＵＩを提供しても良い。例えば、ＧＵＩでは、各皮膚の徴候および／又は皮膚の徴候診断を表または他の形態の出力を提示しても良い。表または他の形態から特定の項目を選択すると、ＧＵＩを呼び出して、皮膚の徴候診断に関連する領域が強調表示された画像（又は正規化された画像）を表示しても良い。ジェスチャー起動型のＧＵＩ（及び／又は他の入力起動型ＧＵＩ（例えば、テキストコマンド））に加えて、又はその代わりに、音声起動型ＧＵＩが、本明細書の任意の例で使用されても良いことが理解される。

【0081】

図６（ｂ）は、処理６１０を示す。６１１では、ＧＵＩが提示され（ＧＵＩは、処理６００、６１０、６２０、及び６３０のいずれかに対して提示されても良いことに留意されたい）、製品および／又は治療法の推奨事項を開始する。入力は、パフォーマンスを起動するために受信されても良い。６１２では、推奨事項が受信され、動作は、推奨事項を受信するために、サーバ４０８などのリモートサーバへの皮膚の診断情報（例えば、スコア、民族性ベクトル、画像、ユーザ情報など）の通信を含んでも良い。推奨事項は、１又は複数の製品、皮膚の領域への適用方法、及びスケジュールを有する治療計画に関連するものが含まれる。６１３では、推薦事項は、例えばＧＵＩを介して提示される。複数の推奨事項を受信し、提示しても良い。６１４では、推薦事項の受け入れを示す選択が行われる。これは、記憶（ログ）されても良く、例えば、コンピュータ装置４０２の治療のモニタリング機能を開始しても良い。６１５では、サーバ４０８や他のサーバなどを介して製品の購買が促進されても良い。

【0082】

図７（ａ）は、モニタリングのためなどの処理６２０を示す。モニタリングは、コンピュータ装置４０２によって受信された、又はブラウザなどを介してアクセス可能な治療計画（例えば、データに記載されている）に応答しても良い。治療計画は、１週間に１回の第２の製品の適用などのスケジュール（例えば、朝および夜の製品の適用）を有していても良い。スケジュールは、例えば、ネイティブアプリケーションによる通知を介して、又はカレンダアプリケーションのような別の手段を介して、（例えば、６２１で）通知されても良い。６２２では、治療活動を容易にするために、例えば、その発生を記録したり、及び／又は活動を実行するための支持を提供したりするＧＵＩが提供される。６２３では、活動が実行されたことの確認のような入力が受信される。画像は、活動を記録するために含まれても良い。データがログに記録される場合がある。モニタリングによって、治療計画がどれだけ忠実に守られているかを測定しても良い。６２４では、製品の再購入が促進され、例えば、治療のモニタリングに応答して、手持ちの製品の量が不足しているかもしれないことが判断されても良い。

【0083】

図７（ｂ）は、モニタリングの活動として実行されても良い、例えば、比較を実行するための処理６３０を示す。６３１では、ユーザなどに指示するために比較のためのＧＵＩが提供される。６３２では、新しい画像（例えば、６０１で受信した最初の画像と比較される）が（任意選択で）格納される。６３３では、後続の皮膚の徴候診断が、新しい画像（例えば、処理６００と同様に、正規化されたものなど）に対してＣＮＮを使用して実行される。６３４では、ＧＵＩは、最初の皮膚の徴候診断と後続の皮膚の徴候診断を用いた比較を、任意選択で最初の画像と新しい新しい画像を用いて提示する。

【0084】

図６及び図７には示されていないが、受信または生成された任意のデータは、サーバ４０６などの遠隔記憶装置のために通信されても良い。

【0085】

皮膚の徴候診断、その後の皮膚の徴候診断（任意選択で他のモニタリングを伴う）、及び集計のためのデータの提供は、製品や治療の有効性および／又は、製品および治療の不正請求の調査を可能にできる。データは、皮膚科医および／又は他の専門家および／又はユーザに収集、分析、提示されても良い。従って、本明細書のシステム及び方法は、皮膚治療のための分散型研究のモデルを容易にできる。

【0086】

本明細書の教示は、ローカルからグローバルへのリンク機能（例えば、顔全体を処理しながら顔の領域内の特定の条件）や、全ての重要な領域（例えば、額から口までの顔の各層に存在するしわ）を対象として顔を網羅的にマッピングする機能を含む。

【0087】

局所的な皮膚の徴候の組合せを使用して、全体的（グローバル）な外見（例えば、見かけの年齢、輝き、疲労度など）を予測（分類）しても良い。また、外観は、化粧の存在下で皮膚分析を行うことによって判断、比較しても良い。本明細書における皮膚の診断は、顔の徴候の性質および位置に関して十分に網羅されており、他の人間が被験者を見ている時の知覚を説明することができる。皮膚の徴候診断は、他人からの９５％以上の知覚に基づくなど、見かけの年齢に関する更なる結論を導くために使用できる。また、化粧をしている場合には、皮膚の老化現象を隠すためのファンデーションなどの効果を測定し、顔のラインや構造をどのように回復させるかを判断するために、皮膚の診断と全体的な外見や魅力に関する更なる予測／分類を使用することができる。

【0088】

本発明の皮膚の診断法および技術は、顔の５つの分析クラスタ（しわ／質感、たるみ、色素沈着障害、血管障害、頬の毛孔）を測定し、加齢の過程、環境条件（太陽光曝露、慢性的な都市公害への曝露など）、又はライフスタイル（ストレス、疲労、睡眠の質、喫煙、飲酒など）の全ての影響を記述するためのデータを容易にする。これらを経時的、運動中に測定したり、消費者の年齢と比較したりすることによって、この手法およびコンピュータ装置などは、老化の加速、明確な環境の影響（いくつかの徴候は、いくつかのクラスタに影響を与え、他のクラスタには影響を与えない）に関する情報を提供するように構成されても良い。
・化粧品および／又は治療薬、若しくは予防薬に関する推奨事項（例えば、太陽光を浴びた場合に、地理的にどのような種類のフィルター、抗酸化物質、落屑剤等が必要か）
・食生活、ライフスタイル、スポーツ／運動などの観点からの推奨事項は、顔の徴候の損傷または特異性にプラスの影響を及ぼす可能性がある。例えば、顔の徴候は、毎日の活動によって影響を受けることが知られており、それに基づいていくつかの戦略を提案する。

【0089】

このように記載された皮膚の診断方法および技術は、消費者／患者をあらゆる次元において高精度な方法で動的に追跡するために使用できる。評価は、日／季節／ホルモン／安静時の影響および治療／化粧品／健康上の利益を評価するために、異なる時間および／又は異なる領域で採用されても良い。このような評価は、より正確な診断を提供し、より良い解決策の推奨を可能にする。

【0090】

このように説明された皮膚の診断法および技術は、自撮り又は他のビデオからなど、動いているユーザの画像に対して評価を実行するために使用されても良い。本方法およびコンピュータ装置は、映像の各フレーム又は選択されたフレームについて評価し、顔が動いている時に顔の（複数の）スコアを記録するように構成されても良い。しわ又はたるみなどの動的曲線を定義しても良い。ビデオは、顔にストレスを誘発する特定の顔の位置および遷移をキャプチャして、特定の徴候の分析を支援しても良い。

【0091】

特徴を強調し、顔にストレスを与える特定のジェスチャやポーズなどをユーザに実行させる指示を提供しても良い。一例として、指示は（例えば、グラフィカル又は他のユーザインターフェースを介して）、例えば、頬をつまむような特定のジェスチャを実行するようにユーザに要求しても良い。このような評価は、より正確な診断を提供し、より良い解決策の推奨を可能にする。

【0092】

身体が直立または仰臥している体位などによる機能的ストレスのような、他のストレスが指示されても良い。機能的ストレスは、若い消費者によって非常に重要であり、非常にニュートラルな標準的なＩＤ画像では見られなかったしわを記録できる。目尻の小さいしわは、ユーザが微笑んだり、特定の感情を持ったりした時に見られる。

【0093】

従って、皮膚の診断法および技術は、顔が動いている時のビデオを受信し、それから多数の画像を評価することを可能にすることができ、例えば、ビデオはフレーム１，２，．．Ｎを有し、各フレームは、２０個の徴候に対して２０のスコアを生成することができる。システムは、ユーザにジェスチャ（顔をつまむ）を指示し、結果を記録する。顔をつまむ前後の画像を分析して、ストレス前後の皮膚の状態や、水分の移動量などを結論付けることができる（ｐｕｂｌｉｃａｔｉｏｎ ＤｅｒｍｏＴｒａｃｅ：Ｆｌａｍｅｎｔ Ｆ，Ｂａｚｉｎ Ｒ．Ｉｎｆｌｕｅｎｃｅｓ ｏｆ ａｇｅ， ｅｔｈｎｉｃ ｇｒｏｕｐ，ａｎｄ ｓｋｉｎ ｓｉｔｅｓ ｏｎ ａ ｐｒｏｖｉｓｏｒｙ ｓｋｉｎ ｍａｒｋｉｎｇ，ｅｘｐｅｒｉｍｅｎｔａｌｌｙ ｉｎｄｕｃｅｄ，ｉｎ ｖｉｖｏ．Ｓｋｉｎ Ｒｅｓ Ｔｅｃｈｎｏｌ ２４，１８０－１８６（２０１８））。ちょうど２つのフレームを使用する必要がある。

【0094】

このように説明された皮膚の診断方法および技術は、分析的特徴の展開によって感情分析の性能を更に向上させるために使用しても良い。顔の全体的な評価を行うことにより、皮膚の徴候の組合せと、喜び、恐怖、嫌悪などの特定の視覚的な徴候とを関連付けることによって感情の評価（例えば、分類）が可能になり得る。

【0095】

このように説明された皮膚の診断方法および技術は、口頭または同じ言語でコミュニケーションをとれない人などの特定の感情を示すものとして徴候の分類を使用して、ヘルスケアの実施を促進するために使用されても良い。痛みのある患者は、それに関連する感情を示すことがあり、それを分析して薬の投与などに利用できる。例えば、眉間の徴候とその重症度の組み合わせは、健康分野、特に病院において、意思疎通が困難な痛みを抱える患者のための重要な手がかりとなり得る。顔を正確に読み取ることで、薬を投与したり、具体的な治療法を設計したりすることができる。

【0096】

このように説明された皮膚の診断方法および技術は、環境またはライフスタイルの影響の特徴付け（例えば、分類）の性能を更に向上させるために使用されても良い。データベースと比較することによって、外因性の老化と内因性の老化を定義でき、我々の知識データベースに基づき、環境条件（紫外線、汚染など）又はライフスタイル（ストレス、食生活、アルコール、喫煙、スポーツなど）の影響を、定量化（重症度の割合）や適格性（顔の徴候の性質や位置）の観点から把握している。本明細書に記載される皮膚診断の評価は、データベースからの情報によって強化され、都市での高齢化をテーマにした主要な化粧品について、より正確かつパーソナライズされたフィードバックを消費者に返すことができる。

【0097】

このように記載された皮膚の診断方法および技術は、他の状態についての他の医学的診断の性能を向上させるために使用されても良い。皮膚の徴候の組み合せは、特定の顔の徴候と特定の病態または疾患とを相関させる研究に基づいて、特定の病態と関連付けることができる。例えば、額のしわは心疾患と関連している。

【0098】

このように記載された製品および／又はアプリケーションの推奨事項を含む皮膚の診断方法および技術は、自然かつ正常に発生し、典型的には疾患に関連しない皮膚の徴候（例えば、老化および／又は環境曝露に関連するような、疾患状態を示さない皮膚の徴候）に関連して実行されても良いことが理解されるであろう。しかし、このような非疾患の皮膚の徴候の発症および／又は進行は、それぞれの医薬品およびそれぞれの適用計画（それ自体は医学的治療ではないが、広義には治療）に反応する可能性がある。従って、本明細書では、非疾患の皮膚の徴候のための皮膚の診断装置および方法が提供される。非疾患の皮膚の徴候のための製品を推奨するための装置および方法が提供される。装置は、記憶部と、その記憶部に結合される処理部とを備え、記憶部は、複数であるＮ個の各非疾患の皮膚の徴候について、Ｎ個の各皮膚の徴候診断を判定するために画像のピクセルを分類する畳み込みニューラルネットワークであるＣＮＮを記憶して提供し、前記ＣＮＮは、前記Ｎ個の各非疾患の皮膚の徴候診断を生成するように構成された画像分類のための深層ニューラルネットワークであり、前記ＣＮＮは、前記Ｎ個の各非疾患の皮膚の徴候のそれぞれに関する非疾患の皮膚の徴候データを使用して学習され、前記処理部は、前記画像を受信し、前記ＣＮＮを用いて前記画像を処理し、前記Ｎ個の各非疾患の皮膚の徴候診断を生成する。処理部は、製品の推奨コンポーネント（例えば、各非疾患の皮膚の徴候に関連する各製品について、１又は複数の製品および任意で各製品の適用計画を選択するルールに基づくシステム又は他のシステムなど）を使用するなどして、Ｎ個の各非疾患の皮膚の徴候診断のうちの少なくとも１つに対して製品の推奨を生成するよう構成されても良い。製品の推奨コンポーネント、更には製品の推奨は、性別、民族性などの他の要因に対応していても良い。Ｎ個の各皮膚の徴候診断を生成するために、ＣＮＮを学習させたり、ＣＮＮを有するシステムを定義したりすることに関連する学習方法およびシステムが明らかになるであろう。

【0099】

コンピュータ装置の態様に加えて、本明細書に記載された方法の態様のいずれかを実行するようにコンピュータ装置を構成するための命令が非一時的な記憶装置（例えば、メモリー、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ディスクなど）に格納される、コンピュータプログラム製品の態様が開示されていることを当業者は理解するのであろう。

【0100】

実際の実施は、本明細書に記載された特徴のいずれか又は全てを含むことができる。これら及び他の態様、特徴、並びに様々な組み合わせは、方法、装置、システム、機能を実行するための手段、プログラムプロダクト、及び、他の方法で、本明細書で説明される特徴を組み合わせて表され得る。多数の実施形態が記載されているが、本明細書で説明されるプロセス及び技術的思想および範囲から逸脱することなく、様々な修正を行うことができることが理解されるだろう。加えて、他のステップが提供されても良く、又は記載された方法からステップが排除されても良く、他のコンポーネントが記載されたシステムに対し、追加または除去されても良い。従って、他の態様は特許請求の範囲内にある。

【0101】

本明細書の記載および特許請求の範囲を通して、単語「含む」及び「備える」及びそれらの変形表現は「含むがこれに限定されない」を意味し、他の構成要素、整数またはステップを排除することを意図しない（排除しない）。本明細書全体を通して、文脈が別途必要としない限り、単数は複数を包含する。つまり、本明細書がその状況が他のことを要求していない限り、単数だけでなく複数も意図していると理解されたい。

【0102】

本発明の特定の態様、実施形態または例に関連して記載される特徴、整数特性、化合物、化学部分または基は、それらと非互換でない限り、任意の他の態様、実施形態または例に適用可能であると理解されるべきである。本明細書に開示された特徴（添付の特許請求の範囲、要約書、及び、図面を含む）の全て、或いはそのように開示された任意の方法または処理のステップの全ては、そのような特徴或いはステップの少なくともいくつかが相互に排他的である組み合わせを除いて、任意の組合せで組み合わせることができる。本発明は、前述の例または実施形態の詳細に限定されない。本発明は、本明細書（添付の特許請求の範囲、要約書、及び、図面を含む）に開示された特徴の任意の新規なもの、又は任意の新規な組み合わせ、又は開示された任意の手法または処理のステップの任意の新規なもの、又は任意の新規な組み合わせに拡張される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】