IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社 サティス製薬の特許一覧 ▶ 宍戸 知行の特許一覧

特許7348448AI肌水分量解析方法、装置、またはシステムおよび学習済みAI肌水分量解析モデル
<>
  • 特許-AI肌水分量解析方法、装置、またはシステムおよび学習済みAI肌水分量解析モデル 図1
  • 特許-AI肌水分量解析方法、装置、またはシステムおよび学習済みAI肌水分量解析モデル 図2
  • 特許-AI肌水分量解析方法、装置、またはシステムおよび学習済みAI肌水分量解析モデル 図3
  • 特許-AI肌水分量解析方法、装置、またはシステムおよび学習済みAI肌水分量解析モデル 図4
  • 特許-AI肌水分量解析方法、装置、またはシステムおよび学習済みAI肌水分量解析モデル 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-09-12
(45)【発行日】2023-09-21
(54)【発明の名称】AI肌水分量解析方法、装置、またはシステムおよび学習済みAI肌水分量解析モデル
(51)【国際特許分類】
   A61B 5/00 20060101AFI20230913BHJP
   G06T 7/00 20170101ALI20230913BHJP
   G06V 10/82 20220101ALI20230913BHJP
【FI】
A61B5/00 M
G06T7/00 350C
G06V10/82
【請求項の数】 7
(21)【出願番号】P 2022089333
(22)【出願日】2022-06-01
【審査請求日】2023-02-09
【早期審査対象出願】
(73)【特許権者】
【識別番号】505443160
【氏名又は名称】株式会社 サティス製薬
(73)【特許権者】
【識別番号】318015644
【氏名又は名称】宍戸 知行
(74)【代理人】
【識別番号】100125988
【弁理士】
【氏名又は名称】宍戸 知行
(72)【発明者】
【氏名】岩井 一郎
(72)【発明者】
【氏名】宍戸 知行
【審査官】増渕 俊仁
(56)【参考文献】
【文献】国際公開第2020/189754(WO,A1)
【文献】特開2019-118484(JP,A)
【文献】特開2022-45280(JP,A)
【文献】特開2012-249917(JP,A)
【文献】米国特許出願公開第2019/0366119(US,A1)
【文献】中国特許出願公開第104299011(CN,A)
【文献】中国特許出願公開第107692997(CN,A)
【文献】中国特許出願公開第111166290(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/00-5/01
G06T 7/00
G06V 10/82
(57)【特許請求の範囲】
【請求項1】
AI肌水分量解析方法であって、
コンピュータが、肌を含む画像と一又は複数の皮膚特徴因子をデータベースまたは保存部に入力する入力工程と、
前記肌を含む画像と前記一又は複数の皮膚特徴因子とから角層水分量を同定する同定工程と、
前記同定の結果を表示する表示制御工程と、を含み、
前記角層水分量がAIモデルを利用して同定され、
前記一又は複数の皮膚特徴因子が、茶色いシミ数、毛穴数、および視感肌荒れからなる群より選択される一又は複数の特徴因子である、AI肌水分量解析方法。
【請求項2】
前記肌を含む画像が可視光画像である、請求項1に記載の方法。
【請求項3】
前記一又は複数の皮膚特徴因子が、茶色いシミ数、毛穴数、および/または視感肌荒れを組み合わせて得られる新規皮膚特徴因子を含む、請求項1に記載の方法。
【請求項4】
コンピュータが、肌を含む画像と一又は複数の皮膚特徴因子をデータベースまたは保存部に入力する入力部と、
前記肌を含む画像と一又は複数の皮膚特徴因子とから角層水分量を同定する同定部と、
前記同定の結果を表示する表示制御部と、を含み、
前記角層水分量がAIモデルを利用して同定され、
前記一又は複数の皮膚特徴因子が、茶色いシミ数、毛穴数、および視感肌荒れからなる群より選択される一又は複数の特徴因子である、AI肌水分量解析装置。
【請求項5】
コンピュータが、肌を含む画像と一又は複数の皮膚特徴因子をデータベースまたは保存部に入力する入力部と、
前記肌を含む画像と一又は複数の皮膚特徴因子とから角層水分量を同定する同定部と、
前記同定の結果を表示する表示制御部と、を含み、
前記角層水分量がAIモデルを利用して同定され、
前記一又は複数の皮膚特徴因子が、茶色いシミ数、毛穴数、および視感肌荒れからなる群より選択される一又は複数の特徴因子である、AI肌水分量解析システム。
【請求項6】
肌を含む画像データと一又は複数の皮膚特徴因子を入力する入力層と、
ニューラルネットワークからなり入力データを処理する中間層と、
角層水分量を出力する出力層と、を含み、
請求項1、4、または5に記載の方法、装置、またはシステムで使用される学習済みAI肌水分量解析モデル。
【請求項7】
入力された肌を含む画像データに対応する角層水分量を出力するよう、コンピュータを機能させるための、請求項6に記載の学習済みAI肌水分量解析モデル。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、AI肌水分量解析方法、装置、またはシステムおよび学習済みAI肌水分量解析モデルに関する。
【背景技術】
【0002】
皮膚の水分量を計測することは化粧品や美容の分野で広く需要がある。迅速かつ正確に水分量を同定・計測する技術はまだ改善の余地がある。既存の水分量測定方法が知られているが、主に実際の皮膚を直接または間接的に装置等で計測するものが多い。
【0003】
特許文献1は、被験者負担が軽微で、測定する場所や環境によらず、短時間で皮膚角層の水分量を評価する方法を提供し、「赤外吸収スペクトルのピークから皮膚角層の水分量を評価する方法であって、(i)テープ剥離により取得した角層を乾燥処理することで水分を除去し、水分を含まない乾燥角層の基準サンプルを調製する段階、(ii)基準サンプルの吸収スペクトルAを取得する段階、(iii)測定したい皮膚の角層をテープで剥離し、測定サンプルを得る段階、(iv)測定サンプルの吸収スペクトルを取得する段階、10(v)吸収スペクトルAと水単体の吸収スペクトルBのピークを基に、測定サンプル中に含まれる水分量の指標を決定する段階を含む方法」を開示する。
【0004】
また、皮膚画像の解析を解析して水分量を特定する方法も知られている。その中には近赤外線画像を利用する方法が含まれる。特許文献2は、唇部分の皮膚の水分量を効果的に測定できる方法および装置に関し、「被検者の唇の皮膚の水分量を定測定する方法であって、近赤外領域おいて撮影された前記被検者の唇を含む顔画像を取得する顔画像取得ステップと、前記顔画像取得影ステップにより取得した前記顔画像から前記被検者の唇の特定の測定領域を抽出する測定領域抽出ステップと、前記測定領域において計測された信号強度の平均値に基づき、前記被検者の唇の皮膚の水分量を定量する定量ステップとを含む、方法」を開示する。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2021-181987号公報
【文献】特開2021-171365号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、可視光画像から水分量を精度よく特定する効率的手法は現在のところ無い。
【0007】
特許文献1では、赤外吸収スペクトルのピークから皮膚角層の水分量を評価する方法が開示されているが、皮膚の可視光画像から水分量を特定するものではない。
【0008】
特許文献2では、唇部分の皮膚の水分量を効果的に測定できる方法および装置が開示され、近赤外領域おいて撮影された被検者の唇を含む顔画像を取得する顔画像取得ステップと、前記顔画像取得影ステップにより取得した前記顔画像から前記被検者の唇の特定の測定領域を抽出する測定領域抽出ステップが開示されている。しかしながら、測定画像は近赤外領域おいて撮影された画像に限定されており、可視光領域の画像を利用するものではない。さらに、角層水分量とそれに相関する因子とを組み合わせたAIモデルを使用して水分量を推測する技術は開示されていない。
【0009】
本発明は、肌を含む画像と一又は複数の皮膚特徴因子をデータベースまたは保存部に入力する入力工程と、前記肌を含む画像と前記一又は複数の皮膚特徴因子とから角層水分量を同定する同定工程とを含む方法、装置、またはシステムを提供することを課題とし、前記角層水分量がAIモデルを利用して同定されるものことを特徴とする。また、本発明は、前記肌を含む画像が可視光画像であり、前記一又は複数の皮膚特徴因子が、茶色いシミ数、毛穴数、および視感肌荒れからなる群より選択される一又は複数の特徴因子やそれらを組み合わせて得られる新規皮膚特徴因子を含む場合がある。
【0010】
さらに、本発明は、上記方法、装置、またはシステムで使用される学習済みAI肌水分量解析モデルを提供することを課題とする。
【課題を解決するための手段】
【0011】
上記の目的を達成するために、本発明は、以下の(1)~(8)を提供する。
【0012】
本発明の第一観点では、以下の(1)~(4)のAI肌水分量解析方法が提供される。
(1)AI肌水分量解析方法であって、
コンピュータが、肌を含む画像と一又は複数の皮膚特徴因子をデータベースまたは保存部に入力する入力工程と、
前記肌を含む画像と前記一又は複数の皮膚特徴因子とから角層水分量を同定する同定工程と、
前記同定の結果を表示する表示制御工程と、を含み、
前記角層水分量がAIモデルを利用して同定される、AI肌水分量解析方法。
(2)前記肌を含む画像が可視光画像である、(1)に記載の方法。
(3)前記一又は複数の皮膚特徴因子が、茶色いシミ数、毛穴数、および視感肌荒れからなる群より選択される一又は複数の特徴因子である、(1)または(2)に記載の方法。
(4)前記一又は複数の皮膚特徴因子が、茶色いシミ数、毛穴数、および/または視感肌荒れを組み合わせて得られる新規皮膚特徴因子を含む、(3)に記載の方法。
【0013】
本発明の第二の観点では、以下の(5)のAI肌水分量解析装置が提供される。
【0014】
(5)コンピュータが、肌を含む画像と一又は複数の皮膚特徴因子をデータベースまたは保存部に入力する入力部と、
前記肌を含む画像と一又は複数の皮膚特徴因子とから角層水分量を同定する同定部と、
前記同定の結果を表示する表示制御部と、を含み、
前記角層水分量がAIモデルを利用して同定される、AI肌水分量解析装置。
【0015】
本発明の第三の観点では、以下の(6)のAI肌水分量解析システムが提供される。
【0016】
(6)コンピュータが、肌を含む画像と一又は複数の皮膚特徴因子をデータベースまたは保存部に入力する入力部と、
前記肌を含む画像と一又は複数の皮膚特徴因子とから角層水分量を同定する同定部と、
前記同定の結果を表示する表示制御部と、を含み、
前記角層水分量がAIモデルを利用して同定される、AI肌水分量解析システム。
【0017】
本発明の第四の観点では、以下の(7)~(8)の学習済み肌水分量解析モデルが提供される。
(7)肌を含む画像データと一又は複数の皮膚特徴因子を入力する入力層と、
ニューラルネットワークからなり入力データを処理する中間層と、
角層水分量を出力する出力層と、を含み、
(1)~(4)、(5)、または(6)に記載の方法、装置、またはシステムで使用される学習済みAI肌水分量解析モデル。
(8)入力された肌を含む画像データに対応する角層水分量を出力するよう、コンピュータを機能させるための、(7)に記載の学習済みAI肌水分量解析モデル。
【発明の効果】
【0018】
本発明の一態様によれば、可視光画像から角層水分量を同定できるという効果を生じる。
【図面の簡単な説明】
【0019】
図1】本発明の一実施形態のAI肌水分量解析装置またはシステムの概略図である。
図2】本発明の一実施形態のAI肌水分量解析方法の工程を示すフローチャートである。
図3】比較例の方法での、水分量予測AIモデルのトレーニング結果を示すグラフである。
図4】本発明の一実施形態の方法での、水分量統合AIモデルの設計を示す図である。図4Aは、角層水分量に相関する因子(特徴量)(正に相関する因子と負に相関する因子)を示すリストである。図4Bは3因子と肌を含む画像データの組み合わせモデルの設計を示す概念図である。
図5】本発明の一実施形態の方法での、水分量統合AIモデルの性能を示す図と表である。図5Aは、正に相関する3つの因子(図中のf1,f2,f3)を入力因子として肌を含む画像からの水分量予測値と組み合わせて入力した水分量統合AIモデルのトレーニング結果を示すグラフである。図5Bはテストデータの肌を含む画像における角層水分量の実測値(True)と予測値(Pred)を各画像と共に示したパネルである。図5Cは、正に相関する因子(Positive factor:f1,f2,f3)と負に相関する因子(Negative factor:f3)を、肌を含む画像データからの水分量予測値と任意に組み合わせて統合AIモデルをトレーニングした結果のLoss評価(実測値からの予想値のズレ;低いほど良い)を示すグラフである。
【発明を実施するための形態】
【0020】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【0021】
用語と定義
本明細書中では「皮膚」「肌」は互換的に用いられる。本明細書中では、「肌を含む画像」は画像の一部に肌を含む画像(例、顔面画像)であってもよいし、実質的に肌部分からなる画像であってもよし、肌部分からのみなる画像であってもよい。
【0022】
本明細書中では、用語「水分量」は、皮膚の水分量、好ましくは角層水分量を含む。実際の水分量の同定(実測値)する方法には任意の従来法が含まれ、限定はされないが、キャパシタンス法(静電容量法)、コンダクタンス法(伝導度)、カールフィッシャー法が挙げられる。実際の水分量の同定(実測値)は計測機器を用い実施される場合があるが、その計測機器は水分量が計測できる限り、限定はされない。水分量の値は任意の尺度(A.U.)が使用可能である。水分量はまた、任意の数値範囲(例、ビン)やグレード等の評価単位で表すことも可能であり、本発明中の水分量には数値やそれら評価単位も含まれる。
【0023】
実施形態1:AI肌水分量解析方法
実施形態1は、
AI肌水分量解析方法であって、
コンピュータが、肌を含む画像と一又は複数の皮膚特徴因子をデータベースまたは保存部に入力する入力工程と、
前記肌を含む画像と前記一又は複数の皮膚特徴因子とから角層水分量を同定する同定工程と、
前記同定の結果を表示する表示制御工程と、を含み、
前記角層水分量がAIモデルを利用して同定される、AI肌水分量解析方法である。
【0024】
本AI肌水分量解析方法は、リアルまたはバーチャルなハードウエア資源上で実行されるソフトウエアとして設置可能である。例えば、アプリケーションまたはWebアプリケーションとして装置/サーバー上にデプロイされる。Webアプリケーションは任意のフロントエンドおよびバックエンドにより構成される。
【0025】
使用されるデータベースまたは保存部は特に限定されず、使用可能なものなら任意のものが用いられる。データベースの種類には、階層型、NoSQL、リレーショナル型、ネットワーク型等が挙げられる。具体的には、MySQL、MariaDB、SQLite、Amazon Aurora、PostgreSQL、Oracle Database、MongoDB、Microsoft SQL Server等が挙げられるが、これらに限定はされない。また、入力される対象の皮膚を含む画像や皮膚特徴因子のデータを保存するデータベース(例、図1のデータベース20)と角層水分量の同定や、その同定結果を表示したりするのに用いるデータベース(例、図1のデータベース20)は同じであってもよいし、異なっていてもよい。どちらにしても特異的なテーブルを個別に用意するので、両者のデータは区別して管理可能である。さらに、本発明では、データベースまたは保存部には一時的または永続的にメモリ等に保存される場合の保存場所も含まれる。
【0026】
入力、送信、同定、解析、表示に用いられる言語は、フレームワークに依存する場合があるが、例えば、Python、Java、JavaScript、PHP、Swift、Kotlin、Flutter、Dart、C、C++、Arduino、R等が用いられる。同定部(図1の30)は、物理的ハードウエア(例、RAM、ROM、キャッシュ、SSD、ハードディスク)上またはバーチャルな空間、例えば、クラウド上のAWS(Amazon)、GCP(Google)、Azure(Microsoft)等に設置されてもよいし、同じ場所にあってもよいし、異なる場所にデプロイされてもよい。
【0027】
コンピュータが、肌を含む画像と一又は複数の皮膚特徴因子をデータベースまたは保存部に入力する入力工程と、前記肌を含む画像と前記一又は複数の皮膚特徴因子とから角層水分量を同定する同定工程と、前記同定の結果を表示する表示制御工程とを介してAI肌水分量解析を実施する。以下、各工程要素を、図2を参照しながら詳細に説明する。
【0028】
(I)コンピュータが、肌を含む画像と一又は複数の皮膚特徴因子をデータベースまたは保存部に入力する入力工程(S100:対象画像と因子入力)
入力工程では、肌を含む画像(対象画像)と一又は複数の皮膚特徴因子をユーザーが入力し、それらデータをコンピュータがデータベースまたは保存部に入力する(図1の入力部10)。肌を含む画像(対象画像)と一又は複数の皮膚特徴因子は同時に入力されてもよいし、別々に入力してもよい。一又は複数の皮膚特徴因子も同時に入力されてもよいし、別々に入力してもよい。また、過去に入力したデータはデータベース(図1の20)に保存され、その保存データを利用することもできる。
【0029】
肌を含む画像の種類は特に限定されず、様々なフォーマットの写真や画像データ(例、.jpg、.png、.heic、.tiff)が含まれる。データベースや保存部(図1のデータベースまたは保存部20)の種類は上記したものである。
【0030】
一又は複数の皮膚特徴因子は、各種評価値を含むことができる。その例には、数値、グレード、クラス、カテゴリー等が含まれる。数値の場合は、標準化または正規化した値を入力してもよいし、好ましくはコンピュータが数値を標準化または正規化して使用する。数値以外のグレードやカテゴリーの場合は、コンピュータが「One-Hotエンコーディング」して使用するのが好ましい。また、各数値をグレードやカテゴリーに割り当ててもよく、その数値は適宜標準化または正規化してもよい。
【0031】
画像や皮膚特徴因子のデータ数は、それぞれ、例えば、1、2、3、4、5、10、20、30、50、100、250、500、1000、2500、5000、10000、25000、50000、100000、1000000、5000000、10000000、100000000、または1000000000以上であってもよい。その数値は任意の上記2つの値の間であっても、その値以上、それより大きく、それ以下、またはそれ未満であってもよい。
【0032】
肌を含む画像は任意の画像が含まれる。例えば、限定はされないが、可視光画像、近赤外画像、遠赤外画像が挙げられる。好ましくは、可視光画像である。
【0033】
一又は複数の皮膚特徴因子は、角層水分量(a.u.)、経皮水分蒸散量(g/h/m)、皮脂量(a.u.)、皮膚柔軟性(R0,a.u.)、皮膚弾力性(R7,a.u.)、pH(a.u.)、メラニン量(a.u.)_Mexa、ヘモグロビン量(a.u.)_Mexa、多重剥離度(%)、メラニンIndex(a.u.)_色差、ヘモグロビンIndex(a.u.)_色差、ヘモグロビン酸素飽和度(%)_色差、L*(a.u.)、a*(a.u.)、b*(a.u.)、シワ面積(mm)_レプリカ、シワ本数(本)_レプリカ、毛穴平均面積(mm)_レプリカ、毛穴総数(個)_レプリカ、毛穴角度標準偏差(°)_レプリカ、毛穴正円度(a.u.)_レプリカ、毛穴明暗差(a.u.)_レプリカ、皮丘面積標準偏差(mm)_レプリカ、皮丘総数(個)_レプリカ、皮丘密度(個/mm)_レプリカ、皮溝角度標準偏差(°)_レプリカ、シミ個数(個)_VISIA、シミ面積(%)_VISIA、紫外線シミ個数(個)_VISIA、紫外線シミ面積(%)_VISIA、茶色いシミ個数(個)_VISIA、茶色いシミ面積(%)_VISIA、シワ本数(本)_VISIA、シワ面積(%)_VISIA、粗いキメ個数(個)_VISIA、粗いキメ面積(%)_VISIA、毛穴個数(個)_VISIA、毛穴面積(%)_VISIA、紅斑個数(個)_VISIA、紅斑面積(%)_VISIA、ポルフィリン個数(個)_VISIA、ポルフィリン面積(%)_VISIA、体表温度、くすみ_視感、シミ_視感、赤むら_視感、ニキビ_視感、毛穴の開き_視感、毛穴の黒ずみ_視感、キメの粗さ_視感、シワ_視感、肌荒れ_視感、ハリ_視感、および透明感_視感からなる群より選択される少なくとも一つの皮膚特徴因子であるのが好ましい。これらの因子の値は、任意の装置、ヒト、および/またはAIにより取得されるものであり、実測値または推測値であってもよい。また、各因子はそれぞれ他の因子と組み合わせて新たな皮膚特徴因子を作成してもよい。
【0034】
好ましくは、一又は複数の皮膚特徴因子は、茶色いシミ数、毛穴数、および視感肌荒れからなる群より選択される一又は複数の特徴因子である。また、好ましくは、一又は複数の皮膚特徴因子は、茶色いシミ数、毛穴数、および/または視感肌荒れを組み合わせて得られる新規皮膚特徴因子を含む。実施例1に角層水分量と正または負に相関する皮膚特徴因子が得られることを示し、特に茶色いシミ数、毛穴数、および視感肌荒れを組み合わせた皮膚特徴因子が高い相関度を示すことを実証した。
【0035】
コンピュータのハードウエアとソフトウエア資源を利用して皮膚画像データと皮膚特徴因子データをデータベースまたは保存部に登録保存する任意の方法が使用可能である。
【0036】
(II)前記肌を含む画像と前記一又は複数の皮膚特徴因子とから角層水分量を同定する同定工程(S200:角層水分量同定)
本工程では、前記肌を含む画像と前記一又は複数の皮膚特徴因子とから角層水分量を同定する(図1の同定部30)。角層水分量は、一又は複数のAIモデルを利用して同定される。
【0037】
同定部は、装置またはアプリの内部から提供されてもよいし、API(Application Programming Interface)として外部から提供されていてもよい。前記APIは、好ましくはREST(REpresentational State Transfer)ful APIである。
【0038】
使用するAIモデルは、限定はされないが、実施形態4で提供される学習済みAI肌水分量解析モデルであることが好ましい。
【0039】
一又は複数の皮膚特徴因子は、データベースに入力された値をそのまま使用してもよい。その値には任意の加工を実施してもよい。また、それらの値を組み合わせて新規皮膚特徴因子を作成して、AIモデルへの入力にしてもよい。
【0040】
また、好ましくは、角層水分量は可視光画像データから推測される。まず、水分量はAI回帰モデルを単独使用して肌を含む可視光画像でトレーニングした(比較例1)。テストデータで実測値との差異を計算すると予想水分量の誤差の平均は10.66(A.U.)であったことから、何らかの工夫を用いて精度をさらに向上可能であることが示唆された。
【0041】
好ましくは、角層水分量は、可視光画像データと他の皮膚特徴因子とを組み合わせた入力データをAIモデルで処理することにより推測される。実施例2では、入力皮膚画像に肌を含む可視光画像を使用し、さらに、各種実測因子(実測値)を組み合わせて入力データとした。角層水分量と正または負に相関する新たな特徴量(Polynoimial Feature(Scikit Learn)で作成したもの)が実施例1で同定された。茶色いシミと毛穴個数を組み合わせて作成した新たな特徴量が角層水分量と相関係数が約0.45になることが分かった。また、肌荒れ視感または肌荒れ視感と組み合わせ作成した新たな特徴量が負に相関することが分かった(相関係数約-0.35)。限定はされないが、画像データからの水分量予測値にこれらの値を組み合わせて入力データにすることによって、水分量の予測値(回帰)が約30%向上し、顕著な効果を奏した。
【0042】
(III)前記同定の結果を表示する表示制御工程(S300:同定結果表示)
本工程では、前記同定結果をユーザーに表示する(図1の表示制御部40)。表示制御部は、装置にあるものでも、スマートフォン上のアプリ内のものであってもよいし、ウェブサイト上にデータを表示するのに使用されるものであってもよい。ネイティブアプリの場合は、例えば、Swift,Java,Kotlin,Flutterを使用して処理が実行される。Web上に表示する場合は、フロントエンドは、限定はされないが、HTMLやCSS、JavaScriptで構成される。また、フロントエンドフレームワークを用いる場合もあり、その例には、React、Vue.js、Angular、Ember.js、Backbone.js等が含まれる。サーバーサイドと連携して処理するためにバックエンドのフレームワーク(例、Django、Laravel、Ruby on Rails、Flask、Node.js)を利用する。
【0043】
なお、本明細書中に記載される方法の工程での処理の順番は特に限定されない。例えば、S100:対象画像と因子入力、S200:角層水分量同定、およびS300:同定結果表示は繰り返して行われる場合もあり、S100および/またはS200だけを繰り返す場合もあり、中間的または最終的にS300を行う場合もあるが特に限定はされない。
【0044】
実施形態2または3:AI肌水分量解析装置またはシステム
実施形態2または3は、
コンピュータが、肌を含む画像と一又は複数の皮膚特徴因子をデータベースまたは保存部に入力する入力部と、
前記肌を含む画像と一又は複数の皮膚特徴因子とから角層水分量を同定する同定部と、
前記同定の結果を表示する表示制御部と、を含み、
前記角層水分量がAIモデルを利用して同定される、AI肌水分量解析装置またはシステムである。
【0045】
本実施形態のAI肌水分量解析装置またはシステムでは、第一の観点の(1)~(4)の方法を実行する装置またはシステムが提供される。本装置またはシステムは、実際のハードウエアの装置またはスマートフォン等のアプリ、例えば、Webアプリまたは(スマートフォンやタブレット上の)ネイティブアプリとして実施可能である。
【0046】
AI肌水分量解析装置またはシステムは、入力部10(図1参照)と、データべース/保存部20と、同定部30と、表示制御部40を備えるが、これ以外の機能部を有していてもよい。本装置またはシステムにより効率的に肌の水分量(角層水分量)が解析されて、ユーザーに表示される。具体的には、入力部10は、肌を含む画像と一又は複数の皮膚特徴因子のデータをデータベースまたは保存部20に入力し、同定部30でそれらデータを利用および/または加工して肌の水分量を同定し、表示制御部40でその同定結果を表示する。
【0047】
同定部は後述する実施形態4で記載する学習済み肌水分量解析AIモデルを使用する場合がある。同定部や学習済み肌特徴解析AIモデルは、同じ装置またはシステム内にあってもよいし、API(Application Programming Interface)として外部から提供されていてもよい。前記APIは、好ましくはREST(REpresentational State Transfer)ful APIである。モデルは、同定部で使用可能である。
【0048】
本装置またはシステムがネイティブアプリの形でスマートフォンやタブレットで提供される場合は、Swift、Java、Kotlin、Flutter、Dart等の言語を用いてもよい。
【0049】
ユーザーに表示する表示制御部は、スマートフォン上のアプリ内のものであってもよいし、ウェブサイト上にデータを表示するのに使用されるものであってもよい。ネイティブアプリの場合は、例えば、Swift,Java,Kotlin,Flutterを使用して処理が実行される。Web上に表示する場合は、フロントエンドは、限定はされないが、HTMLやCSS、JavaScriptで構成される。また、フロントエンドフレームワークを用いる場合もあり、その例には、React、Vue.js、Angular、Ember.js、Backbone.js等が含まれる。サーバーサイドと連携して処理するためにバックエンドのフレームワーク(例、Django、Laravel、Ruby on Rails、Flask、Node.js)を利用する。
【0050】
実施形態2または3のAI肌解析装置またはシステムでは、各部分(例、入力部、データベースまたは保存部、同定部、表示制御部)は同じクラウドまたはデバイス上等にあってもよいし、なくてもよい。実施形態1の方法で特定される要素や好ましい態様が同等に適用され顕著な効果を生じる。
【0051】
実施形態4:学習済みAI肌水分量解析モデル
実施形態4では、
肌を含む画像データと一又は複数の皮膚特徴因子を入力する入力層と、
ニューラルネットワークからなり入力データを処理する中間層と、
角層水分量を出力する出力層と、を含み、
(1)~(4)、(5)、または(6)に記載の方法、装置、またはシステムで使用される学習済みAI肌水分量解析モデルが提供される。
【0052】
肌を含む画像と一又は複数の皮膚特徴因子を教師データとして使用してAI肌水分量解析モデルを訓練する。
【0053】
AIモデルの例には、限定はされないが、機械学習モデル、ディープラーニングモデル等が挙げられる。AI肌水分量解析モデルは、好ましくは、機械学習モデルであり、さらに好ましくは、ディープラーニングモデルである。任意の機械学習モデルおよび/またはディープラーニングモデル等が使用可能である。
【0054】
教師あり学習の機械学習の例には、線形回帰、ロジスティック回帰、サポートベクターマシン(SVM: Support Vector Machine)、決定木、ニューラルネットワーク(NN: Neural Network)、ナイーブベイズ等が挙げられる。決定木では、ランダムフォレストやXGBoostといったブースティングを使ったモデルも利用可能である。
【0055】
ニューラルネットワークの例には、CNN(Convolutional Neural Network)、RNN(Recurrent Neural Network)、GAN(Generative Adversarial Networks)等が挙げられる。これらディープラーニングモデルも、肌を含む画像と一又は複数の皮膚特徴因子を教師データとして使用して訓練できるものであれば、特に限定はされず、任意のものが利用訓練可能である。
【0056】
訓練は、好ましくは別のクラウドまたはオンプレミス環境で実行する。クラウド環境の例には、Google ColaboratoryやAWS上のGPU付EC2インスタンスまたはSageMakerが挙げられる。訓練にはGPU、TPU、CPUが利用できるが、限定はされない。機械学習ではScikit-learnが使用できる。また、ディープラーニングフレームワークとして、TensorFlow、Keras、Pytorch、MXNet、Caffe等が使用可能である。
【0057】
第4実施形態の訓練部は別のクラウドVirtual Private Cloud(VPC)やデバイス上に配置されるのが好ましい。例えば、Google ColaboratoryやAWS上のGPU付EC2インスタンスまたはSageMakerを用いて訓練可能である。
【0058】
また、(1)~(6)の方法、システム、または装置を実行/配備する環境と(7)~(8)のAI肌水分量解析モデルの訓練方法を実行する環境は同じでもよいし、異なっていてもよい。好ましくは、異なる環境で実行/配備される。
【0059】
訓練は、実施形態1~3に記載される肌を含む画像と一又は複数の皮膚特徴因子を使用して実施される。ゼロからトレーニングを実施してもよいし、既存の別の重みを使用してもよいし、本モデルに対して既に得られた重みを使用して転移学習してもよい。転移学習では、モデルを時系列に沿ったデータで再度トレーニングして学習効率を高める効果がある。
【0060】
AI肌水分量解析モデルは、入力層と、中間層と、出力層を含むが、他の(一又は複数の)層を含んでもよい。また、実施例2で示されるように統合AIモデルとして、一又は複数の入力層と、中間層と、出力層を含むこともできる。
【0061】
入力層には、肌を含む画像データと一又は複数の皮膚特徴因子を入力する。他の情報(例、性別、年齢)を組み合わせて入力することもできる。また、カテゴリー変数は、One-Hotエンコーディングを用いてデータ化してもよい。
【0062】
中間層(隠れ層)は、入力層から入力されたデータを処理する層である。中間層の数は限定されず、任意の数の中間層が配置される。畳み込みニューラルネットワーク(CNN)、プーリング層、全結合層、ドロップアウト層等の層が任意の数で任意の組み合わせで使用可能である。
【0063】
出力層は、肌の水分量を出力する。水分量は、任意の単位(A.U.)の数値であらわされてもよいし、カテゴリー、グレード、またはクラスとして出力してもよい。
【0064】
実施例2により実際のAI肌水分量解析モデルが効率的に構築可能であることが実証された。
【0065】
学習済みAI肌水分量解析モデルは、入力された肌を含む画像データに対応する角層水分量を出力するよう、コンピュータを機能させてもよい。
【0066】
学習済みAI肌水分量解析モデルや同定部は、前記アプリの内部から提供されてもよいし、API(Application Programming Interface)として外部から提供されていてもよい。前記APIは、好ましくはREST(REpresentational State Transfer)ful APIである。本モデルは、同定部で使用される。
【0067】
本発明で使用するプログラムは、本発明の方法およびモデルを実施できる限り、プログラム全体または部分を含む。その言語の例には、特に限定はされないが、Python,Java,Kotlin,Flutter,Swift,C,C#,C++,PHP,Ruby,JavaScript,Scala,Go,R,Perl,Unity,COBOL等が含まれる。
【0068】
本発明で使用されるコンピューティングデバイスの例には、特に限定はされないが、RAM、ROM、キャッシュ、SSD、ハードディスクが含まれる。また、クラウド上のもの、サーバー上のもの、オンプレミスのコンピュータ上のもの等の任意の形態のコンピューティングデバイスが含まれる。
【0069】
本明細書中で「A~B」という記載は、AおよびBを含む。また、本発明に係る工程等について各実施形態で説明したが、これらの記載に限定されるものではなく、種々の変更を行うことができる。
【0070】
さらに、本発明の方法で実施される工程や装置等の各部を実行する順序は限定されない。
【0071】
以下、実施例と比較例を参照して本発明をさらに詳細に説明するが、本発明は以下の実施例に限定はされない。
【実施例
【0072】
比較例1:水分量AIモデルの作成(回帰モデル)
まず、回帰(regression)で直接値を予想するAIモデルができるかどうかを検証した。
可視光顔面全体のデータを138個のトレーニングデータ、16個のバリデーションデータ、18個のテストデータになるように、600×600にリサイズした。各画像に対応する測定された角層水分量をラベルとした。トレーニングに用いた水分量(A.U.)の範囲は0~53.3であった。EfficientNetB7をベースモデルにして、重みは「imagenet」を使用した。トレーニング結果を図3に示す。Lossがトレーニングに従い減少していくことが分かる。テストデータで実測値との差異を計算すると16個のテストデータの予想水分量の誤差の平均は10.7(A.U.)であった。これにより、この回帰モデルでは十分な精度が得られていないことが分かる。しかしながら、トレーニングはある程度可能なことから何らかの工夫をもちいれば使用可能なAIモデルができる可能性が示された。
【0073】
実施例1:角層水分量と相関する因子
角層水分量と相関する因子を調べその因子を水分量回帰AIモデルと組み合わせて予想結果(Loss)が改善するかを検証した。
まず、被験者で実測した各種値や視感データと角層水分量が相関するかどうかをPolynoimial Feature(Scikit Learn)を使用して調べた。実測した因子(計測(機械またはデバイスによる実装値)または視感(エキスパートによる評価の平均グレード))は、以下の54種類の因子であった(角層水分量(a.u.)、経皮水分蒸散量(g/h/m)、皮脂量(a.u.)、皮膚柔軟性(R0,a.u.)、皮膚弾力性(R7,a.u.)、pH(a.u.)、メラニン量(a.u.)_Mexa、ヘモグロビン量(a.u.)_Mexa、多重剥離度(%)、メラニンIndex(a.u.)_色差、ヘモグロビンIndex(a.u.)_色差、ヘモグロビン酸素飽和度(%)_色差、L*(a.u.)、a*(a.u.)、b*(a.u.)、シワ面積(mm)_レプリカ、シワ本数(本)_レプリカ、毛穴平均面積(mm)_レプリカ、毛穴総数(個)_レプリカ、毛穴角度標準偏差(°)_レプリカ、毛穴正円度(a.u.)_レプリカ、毛穴明暗差(a.u.)_レプリカ、皮丘面積標準偏差(mm)_レプリカ、皮丘総数(個)_レプリカ、皮丘密度(個/mm)_レプリカ、皮溝角度標準偏差(°)_レプリカ、シミ個数(個)_VISIA、シミ面積(%)_VISIA、紫外線シミ個数(個)_VISIA、紫外線シミ面積(%)_VISIA、茶色いシミ個数(個)_VISIA、茶色いシミ面積(%)_VISIA、シワ本数(本)_VISIA、シワ面積(%)_VISIA、粗いキメ個数(個)_VISIA、粗いキメ面積(%)_VISIA、毛穴個数(個)_VISIA、毛穴面積(%)_VISIA、紅斑個数(個)_VISIA、紅斑面積(%)_VISIA、ポルフィリン個数(個)_VISIA、ポルフィリン面積(%)_VISIA、体表温度、くすみ_視感、シミ_視感、赤むら_視感、ニキビ_視感、毛穴の開き_視感、毛穴の黒ずみ_視感、キメの粗さ_視感、シワ_視感、肌荒れ_視感、ハリ_視感、透明感_視感)。各因子はそれぞれ3乗まで他の因子と組み合わせて新たな特徴量を作成し、その特徴量と角層水分量との相関係数を計算した。ここで「VISIA」はVISIA(登録商標)(Canfield Scientific社製)を使用して得られた値である。「レプリカ」は、顔面のレプリカを作成してそこから得られた値である。「視感」は複数のヒトエキスパートにより評価されたグレードを平均した値である。
【0074】
図4Aの上のパネルは正に相関する因子を角層水分量と相関係数が高いものから示す。茶色いシミと毛穴個数を組み合わせて作成した新たな特徴量が角層水分量と相関係数が約0.45になることが分かった。具体的には、(茶色いシミ個数(個)_VISIA)×(毛穴個数(個)_VISIA)^2(2乗を意味する)の新規皮膚特徴因子が最も角層水分量と相関し、その相関係数は約0.45であった。また、(毛穴個数(個)_VISIA)^3(3乗を意味する)の相関係数は約0.43であった。
【0075】
また、図4Aの下のパネルは負に相関する因子を角層水分量と相関係数が低いものから示す。肌荒れ視感または肌荒れ視感と組み合わせ作成した新たな特徴量が負に相関することが分かった(相関係数約-0.35)。
【0076】
実施例2:肌を含む画像と皮膚特徴因子を入力とする水分量同定統合AIモデルの作成
次に、3つの皮膚特徴因子と肌を含む画像データの組み合わせ入力を処理する統合モデルを設計した(図4B)。肌を含む画像は画像モデルEfficientNetB7を用いてその予想値を出力させた。また、3つの因子の値を入力として、前記予想値と合わせて4つの値を入力とする統合モデルを設計した。この統合モデルもDLモデルを使用した。具体的には、DLモデルは、Dense(12,activation=’relu’)、Dense(24,activation=’relu’)、Dense(1)とした。
【0077】
まず、被験者コホートの角層水分量を実測した。実測にはキャパシタンス法(静電容量法)(Corneometer(コルネオメーター)、株式会社インテグラル製)を用いた。トレーニングに用いた水分量(A.U.)の範囲は0~53.3であった。
【0078】
肌を含む画像は図5Aにあるようにトレーニング914枚、バリデーション229枚、テスト127枚の肌を含む画像を600×600ピクセルにリサイズしたものでトレーニングを実施した。重みは「imagenet」を使用した。因子には、図9Cにあるように、ネガティブコントロール(被験者ID番号)または、正の因子(f1:(茶色いシミ)*(毛穴数)^2、f2:(茶色いシミ)^2*(毛穴数)、f3:(毛穴数)^3)と負の因子(f3:(肌荒れ視感))を組み合わせて入力した。ネガティブコントロールと各因子は最大値で除算することにより標準化した値を入力した。
【0079】
図5Bは実際の統合モデルの予測値(Pred)と実測値(True)を、各肌を含む画像上に示した例である。3つの正の因子(f1,f2,f3)とEfficientNetB7の予測値とを入力に使用した統合モデルの結果である。予想水分量の誤差の平均は7.41(A.U.)であり、比較例1のモデルと比べ約30%精度が改善した。
【0080】
また、各因子の組み合わせの影響を調べたのが図5Cのグラフである。「Negative control」には水分量と無関係な被験者ID(数字)を代入し、「No factors」の3因子はそれぞれ0を代入し、「1 positive factor」には(f1,0,0)を代入し、「1 negative factor」には(0,0,f3(negative factor))を代入し、「2 positive factor」には(f1,f2,0)を代入し、「2 positive 1 negative factor」には(f1,f2,f3(negative factor))を代入し、「3 positive factors」には(f1,f2,f3(positive factor))を代入して統合AIモデルの入力とした。これら因子の組み合わせで、KerasのEvaluate関数でのテストデータ127個の評価Lossが減少することが示された。「No factors」からの減少率はそれぞれ、「Negative control」が3.7%、「1 positive factor」が11.9%、「1 negative factor」が16.6%、「2 positive factor」が22.4%、「2 positive 1 negative factor」が25.5%、「3 positive factors」が29.8%であり、因子を組み合わせることで評価ロス(Evaluation loss)が減少することが示された。
【0081】
また、「3 positive factors」の統合AIモデルにおいてテストデータで実測値との差異を計算すると、16個のテストデータの予想水分量の誤差の平均は4.7(A.U.)であった。
【0082】
これらの結果は、水分量と相関する皮膚特徴因子(特徴量)を組み合わせて、肌を含む画像データからの予測値のデータを有意に改善できることを実証した。従って、通常の可視光画像からの水分量の予測において、肌を含む画像と他の相関する皮膚特徴因子との組み合わせモデルの有効性を実証し、優れた効果を奏した。
【産業上の利用可能性】
【0083】
本発明は、美容分野のみならずメディカル分野においても皮膚の水分量を基礎パラメータとして提供する用途一般に有用である。
【要約】
【課題】本発明は、AI肌水分量解析方法、装置、またはシステムおよび学習済みAI肌水分量解析モデルを提供する。
【解決手段】本発明は、AI肌水分量解析方法であって、コンピュータが、肌を含む画像と一又は複数の皮膚特徴因子をデータベースまたは保存部に入力する入力工程と、前記肌を含む画像と前記一又は複数の皮膚特徴因子とから角層水分量を同定する同定工程と、前記同定の結果を表示する表示制御工程と、を含み、前記角層水分量がAIモデルを利用して同定される、AI肌水分量解析方法を開示する。前記肌を含む画像が可視光画像である場合があり、前記一又は複数の皮膚特徴因子が、茶色いシミ数、毛穴数、および視感肌荒れからなる群より選択される一又は複数の因子やそれらを組み合わせて得られる新規皮膚特徴因子を含む場合もある。
【選択図】図2
図1
図2
図3
図4
図5