特開 2024-19864 皮膚評価システム及び皮膚評価方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024019864

(43)【公開日】2024-02-14

(54)【発明の名称】皮膚評価システム及び皮膚評価方法

(51)【国際特許分類】

   G01N 21/27 20060101AFI20240206BHJP

   A61B 5/00 20060101ALI20240206BHJP

【ＦＩ】

G01N21/27 A

A61B5/00 M

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022122606

(22)【出願日】2022-08-01

(71)【出願人】

【識別番号】505155528

【氏名又は名称】公立大学法人横浜市立大学

(71)【出願人】

【識別番号】510241915

【氏名又は名称】エバ・ジャパン 株式会社

(74)【代理人】

【識別番号】100120868

【弁理士】

【氏名又は名称】安彦 元

(72)【発明者】

【氏名】赤瀬 智子

(72)【発明者】

【氏名】吉田 智

(72)【発明者】

【氏名】祐野 瞳

(72)【発明者】

【氏名】野呂 直樹

(72)【発明者】

【氏名】高良 洋平

【テーマコード（参考）】

2G059

4C117

【Ｆターム（参考）】

2G059AA05

2G059BB12

2G059EE01

2G059EE02

2G059EE12

2G059FF01

2G059KK04

2G059MM01

2G059MM05

4C117XA07

4C117XB01

4C117XB02

4C117XD05

4C117XD11

4C117XE03

4C117XE04

4C117XE33

4C117XE43

4C117XJ13

4C117XJ17

4C117XK20

(57)【要約】

【課題】簡易的にユーザの皮膚の成分を評価することが可能な皮膚評価システム及び皮膚評価方法を提供する。
【解決手段】皮膚評価システムは、ユーザの皮膚を含む画像を取得する取得手段と、前記取得手段により取得された画像に基づくスペクトル画像を取得するスペクトル取得手段と、前記スペクトル取得手段により取得されたスペクトル画像に基づき、前記皮膚の成分を示す成分情報を評価する評価手段とを備えることを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザの皮膚を含む画像を取得する取得手段と、
前記取得手段により取得された画像に基づくスペクトル画像を取得するスペクトル取得手段と、
前記スペクトル取得手段により取得されたスペクトル画像に基づき、前記皮膚の成分を示す成分情報を評価する評価手段とを備えること
を特徴とする皮膚評価システム。

【請求項2】

前記評価手段は、前記スペクトル取得手段により取得されたスペクトル画像に基づき、所定の波長範囲に含まれる特定波長を正規化波長とし、所定の波長範囲に含まれる特定波長を評価波長として選択し、前記正規化波長と前記評価波長との間において、前記正規化波長と前記評価波長との分光強度の差に基づいて前記成分情報を評価すること
を特徴とする請求項１に記載の皮膚評価システム。

【請求項3】

前記評価手段は、９００ｎｍ～１３００ｎｍの周波数帯に含まれる特定波長を第１正規化波長とし、１３００ｎｍ～１７００ｎｍの周波数帯に含まれる特定波長を第１評価波長として選択すること
を特徴とする請求項２に記載の皮膚評価システム。

【請求項4】

前記評価手段は、予め取得された参照用スペクトル画像と成分情報とからなるデータセットを学習データとして用い、入力を前記参照用スペクトル画像とし、出力を前記成分情報として、機械学習により生成された評価モデルを用いて、前記スペクトル取得手段により取得されたスペクトル画像に基づき、前記成分情報を評価すること
を特徴とする請求項１に記載の皮膚評価システム。

【請求項5】

前記スペクトル取得手段は、取得した前記スペクトル画像から、予め取得された皮膚の成分の波長を示す基準波長との差分が閾値以下となる波長を抽出し、抽出した前記波長を示す前記スペクトル画像を取得すること
を特徴とする請求項１に記載の皮膚評価システム。

【請求項6】

前記スペクトル取得手段は、予め取得された参照用スペクトル画像と皮膚の成分を示すスペクトル画像とからなるデータセットを学習データとして用い、入力を参照用スペクトル画像とし、出力を前記皮膚の成分を示すスペクトル画像として、機械学習により生成された抽出モデルを用いて、取得した前記スペクトル画像に基づいて、前記皮膚の成分を示すスペクトル画像を取得すること
を特徴とする請求項１に記載の皮膚評価システム。

【請求項7】

前記取得手段は、前記皮膚に照射される光を含む光源画像をさらに取得し、
前記スペクトル取得手段は、前記取得手段により取得された前記光源画像に対する前記画像の相対反射率に基づくスペクトル画像を取得すること
を特徴とする請求項１に記載の皮膚評価システム。

【請求項8】

前記取得手段は、前記光源画像を撮像したときの撮像条件を示す撮像条件情報を取得し、取得した撮像条件情報に応じて、前記画像を補正すること
を特徴とする請求項７に記載の皮膚評価システム。

【請求項9】

前記評価手段により評価された成分情報に基づき、前記ユーザの健康状態を診断する診断手段をさらに備えること
を特徴とする請求項１に記載の皮膚評価システム。

【請求項10】

前記取得手段は、前記ユーザに関するユーザ情報をさらに取得し、
前記診断手段は、前記評価手段により評価された成分情報と前記取得手段により取得されたユーザ情報とに基づき、前記ユーザの健康状態を診断すること
を特徴とする請求項９に記載の皮膚評価システム。

【請求項11】

前記評価手段は、前記皮膚の水分と皮脂とを示す情報を含む成分情報を評価すること
を特徴とする請求項１に記載の皮膚評価システム。

【請求項12】

前記評価手段により評価された成分情報に含まれる水分と皮脂とを示す情報に基づき、前記ユーザの健康状態を診断する診断手段をさらに備えること
を特徴とする請求項１１に記載の皮膚評価システム。

【請求項13】

皮膚を含む画像を取得する取得ステップと、
前記取得ステップにより取得された画像に基づく、スペクトル画像を取得するスペクトル取得ステップと、
前記スペクトル取得ステップにより取得されたスペクトル画像に基づき、前記皮膚の成分を示す成分情報を評価する評価ステップとをコンピュータに実行させること
を特徴とする皮膚評価方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、皮膚評価システム及び皮膚評価方法に関する。

【背景技術】

【0002】

近年、例えば高齢者等の皮膚疾患を予防又は早期回復のために、ユーザの皮膚を検査し、皮膚の成分からユーザの健康状態を評価することが必要とされている。このため、例えば特許文献１に開示されているような皮膚角層の水分量を評価する方法が注目されている。

【0003】

特許文献１では、テープ剥離により取得した角層を乾燥処理することで水分を除去し、水分を含まない乾燥角層の基準サンプルを用いて、テープで剥離した皮膚の角層の赤外吸収スペクトルを測定することにより、被験者負担が軽微で、測定する場所や環境によらず、短時間で皮膚角層の水分量を評価することができる皮膚角層の水分量を評価する方法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－１８１９８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に開示されている皮膚角層の水分量を評価する方法では、テープ剥離により取得した角層を乾燥処理することで水分を除去し、水分を含まない乾燥角層の基準サンプルを予め用意する必要がある。このため、基準サンプルを用意するために技術者のノウハウや手間が必要となる。これにより、簡易的にユーザの皮膚の成分を評価できないという問題点があった。

【0006】

そこで本発明は、上述した問題点を解決するために導出されたものであり、その目的とするところは、簡易的にユーザの皮膚の成分を評価することが可能な皮膚評価システム及び皮膚評価方法を提供することにある。

【課題を解決するための手段】

【0007】

第１発明に係る皮膚評価システムは、ユーザの皮膚を含む画像を取得する取得手段と、前記取得手段により取得された画像に基づくスペクトル画像を取得するスペクトル取得手段と、前記スペクトル取得手段により取得されたスペクトル画像に基づき、前記皮膚の成分を示す成分情報を評価する評価手段とを備えることを特徴とする。

【0008】

第２発明に係る皮膚評価システムは、第１発明において、前記評価手段は、前記スペクトル取得手段により取得されたスペクトル画像に基づき、所定の波長範囲に含まれる特定波長を正規化波長とし、所定の波長範囲に含まれる特定波長を評価波長として選択し、前記正規化波長と前記評価波長との間において、前記正規化波長と前記評価波長との分光強度の差に基づいて前記成分情報を評価することを特徴とする。

【0009】

第３発明に係る皮膚評価システムは、第２発明において、前記評価手段は、９００ｎｍ～１３００ｎｍの周波数帯に含まれる特定波長を第１正規化波長とし、１３００ｎｍ～１７００ｎｍの周波数帯に含まれる特定波長を第１評価波長として選択することを特徴とする。

【0010】

第４発明に係る皮膚評価システムは、第１発明において、前記評価手段は、予め取得された参照用スペクトル画像と成分情報とからなるデータセットを学習データとして用い、入力を前記参照用スペクトル画像とし、出力を前記成分情報として、機械学習により生成された評価モデルを用いて、前記スペクトル取得手段により取得されたスペクトル画像に基づき、前記成分情報を評価することを特徴とする。

【0011】

第５発明に係る皮膚評価システムは、第１発明において、前記スペクトル取得手段は、取得した前記スペクトル画像から、予め取得された皮膚の成分の波長を示す基準波長との差分が閾値以下となる波長を抽出し、抽出した前記波長を示す前記スペクトル画像を取得することを特徴とする。

【0012】

第６発明に係る皮膚評価システムは、第１発明において、前記スペクトル取得手段は、予め取得された参照用スペクトル画像と皮膚の成分を示すスペクトル画像とからなるデータセットを学習データとして用い、入力を参照用スペクトル画像とし、出力を前記皮膚の成分を示すスペクトル画像として、機械学習により生成された抽出モデルを用いて、取得した前記スペクトル画像に基づいて、前記皮膚の成分を示すスペクトル画像を取得することを特徴とする。

【0013】

第７発明に係る皮膚評価システムは、第１発明において、前記取得手段は、前記皮膚に照射される光を含む光源画像をさらに取得し、前記スペクトル取得手段は、前記取得手段により取得された前記光源画像に対する前記画像の相対反射率に基づくスペクトル画像を取得することを特徴とする。

【0014】

第８発明に係る皮膚評価システムは、第７発明において、前記取得手段は、前記光源画像を撮像したときの撮像条件を示す撮像条件情報を取得し、取得した撮像条件情報に応じて、前記画像を補正することを特徴とする。

【0015】

第９発明に係る皮膚評価システムは、第１発明において、前記評価手段により評価された成分情報に基づき、前記ユーザの健康状態を診断する診断手段をさらに備えることを特徴とする。

【0016】

第１０発明に係る皮膚評価システムは、第９発明において、前記取得手段は、前記ユーザに関するユーザ情報をさらに取得し、前記診断手段は、前記評価手段により評価された成分情報と前記取得手段により取得されたユーザ情報とに基づき、前記ユーザの健康状態を診断することを特徴とする。

【0017】

第１１発明に係る皮膚評価システムは、第１発明において、前記評価手段は、前記皮膚の水分と皮脂とを示す情報を含む成分情報を評価することを特徴とする。

【0018】

第１２発明に係る皮膚評価システムは、第１１発明において、前記評価手段により評価された成分情報に含まれる水分と皮脂とを示す情報に基づき、前記ユーザの健康状態を診断する診断手段をさらに備えることを特徴とする。

【0019】

第１３発明に係る皮膚評価方法は、皮膚を含む画像を取得する取得ステップと、前記取得ステップにより取得された画像に基づく、スペクトル画像を取得するスペクトル取得ステップと、前記スペクトル取得ステップにより取得されたスペクトル画像に基づき、前記皮膚の成分を示す成分情報を評価する評価ステップとをコンピュータに実行させることを特徴とする。

【発明の効果】

【0020】

第１発明～第１３発明によれば、皮膚評価システム及び皮膚評価方法は、スペクトル画像に基づき、成分情報を評価する。これにより、皮膚を含む画像からユーザの成分情報を取得することが可能となる。このため、簡易的にユーザの皮膚の成分を評価することが可能となる。

【0021】

特に、第２発明によれば、正規化波長と評価波長との分光強度の差に基づいて成分情報を評価する。これにより、撮像されたスペクトル画像の特徴を分離することができる。このため、より高精度に成分情報を評価することができる。

【0022】

特に、第３発明によれば、９００ｎｍ～１３００ｎｍの周波数帯に含まれる特定波長を第１正規化波長とし、１３００ｎｍ～１７００ｎｍの周波数帯に含まれる特定波長を第１評価波長として選択する。これにより、第１正規化波長と第１評価波長とをそれぞれ適した周波数帯の波長を利用できるため、より正確に評価することが可能となる。

【0023】

特に、第４発明によれば、評価モデルを用いて、スペクトル画像に基づき、成分情報を評価する。これにより、機械学習により高精度に成分情報を評価することが可能となる。

【0024】

特に、第５発明によれば、画像から、予め取得された皮膚の成分の波長を示す基準波長との差分が閾値以下となる波長を抽出し、抽出した波長を示すスペクトル画像を取得する。これにより、スペクトル画像に含まれる皮膚の成分のみを抽出し、その他のノイズを排除することが可能となるため、より高精度に成分情報の評価が可能となる。

【0025】

特に、第６発明によれば、抽出モデルを用いて、スペクトル画像に基づいて、皮膚の成分を示すスペクトル画像を取得する。これにより、スペクトル画像に含まれる皮膚の成分のみを抽出し、その他のノイズを排除することが可能となるため、より高精度に皮膚の成分情報の評価が可能となる。

【0026】

第７発明によれば、光源画像に対する画像の相対反射率に基づくスペクトル画像を取得する。これにより、光源画像を基準としてスペクトル画像を取得するため、ノイズを排除した画像を用いることが可能となる。

【0027】

第８発明によれば、撮像条件情報を取得し、取得した撮像条件情報に応じて、画像を補正する。これにより、撮影時の光量等の条件を補正することが可能となり、ノイズを排除した画像を用いることが可能となる。

【0028】

第９発明によれば、成分情報に基づき、ユーザの健康状態を診断する。これにより、成分情報からユーザの健康状態を自動的に診断することが可能となる。

【0029】

第１０発明によれば、成分情報とユーザ情報とに基づき、ユーザの健康状態を診断する。これにより、ユーザの情報を考慮してユーザの健康状態を自動的に診断することが可能となる。

【0030】

第１１発明によれば、評価手段は、前記皮膚の水分と皮脂とを示す情報を含む成分情報を評価する。これにより、皮膚の水分と皮脂とを含む成分を評価することが可能となる。

【0031】

第１２発明によれば、水分と皮脂とを示す情報に基づき、ユーザの健康状態を診断する。これにより、皮膚の水分と皮脂との比較を考慮して、ユーザの健康状態を診断することが可能となる。

【図面の簡単な説明】

【0032】

【図1】図１は、本実施形態における皮膚評価システムの構成の一例を示す模式図である。

【図2】図２（ａ）は、本実施形態における皮膚評価装置の構成の一例を示す模式図であり、図２（ｂ）は、本実施形態における皮膚評価装置の機能の一例を示す模式図である。

【図3】図３は、本実施形態における皮膚評価システムの動作のフローチャートの一例を示す図である。

【図4】図４（ａ）は、本実施形態における９５０ｎｍ～１０００ｎｍの波長の光を照射した場合のスペクトル画像の一例を示す図であり、図４（ｂ）は、本実施形態における１０５０ｎｍ～１１００ｎｍの波長の光を照射した場合のスペクトル画像の一例を示す図であり、図４（ｃ）は、本実施形態における１３５０ｎｍ～１４５０ｎｍの波長の光を照射した場合のスペクトル画像の一例を示す図であり、図４（ｄ）は、本実施形態における皮膚の成分のスペクトル画像の一例を示す図である。

【図5】図５は、本実施形態における抽出モデルの一例を示す図である。

【図6】図６は、波長毎のスペクトル強度の一例を示すグラフである。

【図7】図７は、本実施形態における評価モデルの一例を示す図である。

【図8】図８は、本実施形態におけるユーザ情報を考慮した診断モデルの一例を示す図である。

【図9】図９は、本実施形態における水分情報と皮脂情報とを考慮した診断モデルの一例を示す図である。

【発明を実施するための形態】

【0033】

以下、本発明を適用した実施形態における皮膚評価システムの一例について、図面を用いて説明する。

【0034】

図１は、皮膚評価システム１００の構成の一例を示す模式図である。皮膚評価システム１００は、例えば図１に示すように、皮膚評価装置１と、サーバ３と、撮像装置５と照明器具６とを有するユーザ端末２とが公共通信網４を介して接続される。また、皮膚評価システム１００は、公共通信網４を介することなく接続された、皮膚評価装置１と撮像装置５とのみを備えていてもよい。

【0035】

サーバ３は、皮膚評価装置１及びユーザ端末２から送信された画像等の各種データを記憶する記憶媒体である。また、サーバ３は、必要に応じて記憶した各種データを皮膚評価装置１及びユーザ端末２に送信する。サーバ３は、例えば皮膚評価装置１の備える機能のうち、少なくとも一部の機能を備えてもよく、例えば皮膚評価装置１の代わりに少なくとも一部の処理を行ってもよい。

【0036】

公共通信網４は、例えば皮膚評価装置１が通信回路を介して接続されるインターネット網等である。公共通信網４は、いわゆる光ファイバ通信網で構成されてもよい。また、公共通信網４は、有線通信網のほか、無線通信網等の公知の通信技術で実現してもよい。

【0037】

ユーザ端末２は、例えば皮膚評価システム１００を用いたサービスのユーザ等が保有し、公共通信網４を介して皮膚評価装置１と接続される。ユーザ端末２は、例えばデータベースを生成する電子機器を示してもよい。ユーザ端末２は、例えばパーソナルコンピュータや、タブレット端末等の電子機器が用いられる。ユーザ端末２は、例えば皮膚評価装置１の備える機能のうち、少なくとも一部の機能を備えてもよい。ユーザ端末２は、ユーザに皮膚の成分を示す成分情報を提示できる図示しないディスプレイ、又はスピーカを備えていてもよい。

【0038】

照明器具６は、撮像装置５によるユーザの皮膚を含む画像を撮像する際に、皮膚７等を照らす任意の照明器具である。照明器具６は、任意の波長の光を照射してもよい。また、照明器具６は、２以上の波長を含む光を照射してもよい。例えば照明器具６は、９００ｎｍ～１３００ｎｍの任意の波長の光と、１３００ｎｍ～１７００ｎｍの任意の波長の光とを照射できる照明器具であってもよい。また、照明器具６は、９８０ｎｍ及び１３６０ｎｍ、９８０ｎｍ及び１４００ｎｍ、１２００ｎｍ及び１３８０ｎｍ、又は１２００ｎｍ及び１６５０ｎｍのうちの何れかの組み合わせの波長の光が照射可能な照明器具であってもよい。また、照明器具６は、９５０ｎｍ～１０００ｎｍ、１０５０ｎｍ～１１００ｎｍ、１３５０ｎｍ～１４５０ｎｍのうちの何れかの３波長の光がそれぞれ照射された皮膚の画像を取得してもよい。また、照明器具６は、１１５０ｎｍ～１２５０ｎｍ、１３５０ｎｍ～１４５０ｎｍ、１６００ｎｍ～１７００ｎｍのうちの何れかの３波長の光がそれぞれ照射された皮膚の画像を取得してもよい。

【0039】

撮像装置５は、ユーザの皮膚を撮像して画像及びスペクトル画像を生成する公知のカメラである。撮像装置５として、例えばＲＧＢカメラ、マルチスペクトルカメラ、ターゲットスペクトルカメラ、ハイパースペクトルカメラ等が用いられてもよい。また、撮像装置５は、特定波長の光の強度を示すモノクロが画像を撮像するカメラであってもよい。撮像装置５は、例えば特定波長の光の強度を測定する受光センサであってもよい。撮像装置５は、例えば動画を撮影するビデオカメラであってもよく、皮膚評価装置１に内蔵されてもよい。撮像装置５がスペクトルビデオカメラの場合は、例えば撮像された動画の一部からスペクトル画像が抽出されてもよい。撮像装置５は、撮像した画像をユーザ端末２に出力する。また、撮像装置５は、ユーザ端末２を介することなく、公共通信網４を介して、皮膚評価装置１に撮像した画像を出力してもよい。

【0040】

皮膚は、ユーザの任意の皮膚であり、例えばユーザの顔、腕等の任意の部位の皮膚であってもよい。また、ユーザからテープ等を用いて剥離させた皮膚であってもよい。また、ユーザは、人間に限らず、牛や豚、犬等の動物であってもよい。

【0041】

皮膚評価装置１は、ユーザ端末２から出力された画像及びスペクトル画像に基づいて、それぞれ処理を行う。皮膚評価装置１は、例えばパーソナルコンピュータ（ＰＣ）等の電子機器が用いられるほか、例えばスマートフォン、タブレット型端末、ウェアラブル端末、ＩｏＴ（Internet of Things）デバイス等の電子機器、Ｒａｓｐｂｅｒｒｙ Ｐｉ（登録商標）等のシングルボードコンピュータが用いられてもよく、例えば撮像装置５が内蔵されてもよい。

【0042】

皮膚評価装置１は、例えば撮像装置５から出力された皮膚を含む画像を取得し、取得した画像に基づく、スペクトル画像を取得し、取得したスペクトル画像に基づき、皮膚に含まれる成分を示す成分情報を評価する。

【0043】

次に図２を参照して、本実施形態における皮膚評価装置１の一例を説明する。図２（ａ）は、本実施形態における皮膚評価装置１の構成の一例を示す模式図であり、図２（ｂ）は、本実施形態における皮膚評価装置１の機能の一例を示す模式図である。

【0044】

皮膚評価装置１は、例えば図２（ａ）に示すように、筐体１０と、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、保存部１０４と、Ｉ／Ｆ１０５～１０７とを備える。ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、保存部１０４と、Ｉ／Ｆ１０５～１０７とは、内部バス１１０により接続される。

【0045】

ＣＰＵ１０１は、皮膚評価装置１全体を制御する。ＲＯＭ１０２は、ＣＰＵ１０１の動作コードを格納する。ＲＡＭ１０３は、ＣＰＵ１０１の動作時に使用される作業領域である。保存部１０４は、画像やスペクトル画像、抽出モデル及び評価モデル等の各種情報が保存される。保存部１０４は、例えばＨＤＤ（Hard Disk Drive）の他、ＳＳＤ（Solid State Drive）やＳＤカード、ｍｉｎｉＳＤカード等のデータ保存装置が用いられる。なお、例えば皮膚評価装置１は、図示しないＧＰＵ（Graphics Processing Unit）を有してもよい。

【0046】

Ｉ／Ｆ１０５は、公共通信網４を介して各種情報の送受信を行うためのインターフェースである。Ｉ／Ｆ１０６は、入力部１０８との情報の送受信を行うためのインターフェースである。入力部１０８として、例えばキーボードが用いられ、皮膚評価装置１を利用するユーザ等は、入力部１０８を介して、各種情報又は皮膚評価装置１の制御コマンド等を入力する。Ｉ／Ｆ１０７は、表示部１０９との各種情報の送受信を行うためのインターフェースである。表示部１０９は、保存部１０４に保存された評価結果等の各種情報、または皮膚評価装置１の処理状況等を出力する。表示部１０９として、ディスプレイが用いられ、例えばタッチパネル式でもよい。

【0047】

保存部１０４は、例えば撮像装置５から取得した画像及びスペクトル画像が記憶されるほか、スペクトル画像等に関連する情報、各種情報の評価に用いられるアルゴリズム、抽出モデル及び評価モデル等が記憶される。

【0048】

表示部１０９は、各種情報を表示する。表示部１０９は、例えば評価結果、画像等を表示する。

【0049】

図２（ｂ）は、皮膚評価装置１の機能の一例を示す模式図である。皮膚評価装置１は、取得部１１と、画像処理部１２と、評価部１３と、記憶部１４と、出力部１５と、変換部１６と、抽出部１７と、診断部１８とを備える。なお、図２（ｂ）に示した取得部１１と、画像処理部１２と、評価部１３と、記憶部１４と、出力部１５と、変換部１６と、抽出部１７と、診断部１８は、ＣＰＵ１０１が、ＲＡＭ１０３を作業領域として、保存部１０４等に保存されたプログラムを実行することにより実現され、例えば人工知能により制御されてもよい。

【0050】

取得部１１は、画像及びスペクトル画像を取得する。取得部１１は、撮像装置５が撮像した画像を、ユーザ端末２を介して取得する他、例えば皮膚評価装置１に内蔵された撮像装置５から、画像及びスペクトル画像を取得するようにしてもよい。また、サーバ３等から公共通信網４を介して画像及びスペクトル画像を取得してもよい。なお、取得部１１が各種情報を取得する頻度、及び周期は、任意である。また、取得部１１は、ユーザの状態に関する状態情報を取得してもよい。また、取得部１１は、ユーザに関するユーザ情報を取得してもよい。

【0051】

画像処理部１２は、取得部１１により取得された画像に補正等の処理を行う。

【0052】

変換部１６は、画像処理部１２により処理された画像に基づいて、スペクトル画像を取得する。かかる場合、例えば変換部１６は、画像を、画像に含まれるスペクトルを示すスペクトル画像に変換する。

【0053】

抽出部１７は、変換部１６により取得されたスペクトル画像から、皮膚の成分を示すスペクトル画像を抽出する。

【0054】

評価部１３は、抽出部１７により抽出されたスペクトル画像に基づき、成分情報を評価する。

【0055】

診断部１８は、評価部１３により評価された成分情報に基づき、ユーザの健康状態を診断する。

【0056】

記憶部１４は、保存部１０４に保存された各種情報を必要に応じて取り出す。記憶部１４は、取得部１１と、画像処理部１２と、評価部１３と、変換部１６と、抽出部１７と、診断部１８とにより取得又は出力された各種情報を、保存部１０４に保存する。

【0057】

出力部１５は、各種情報を出力する。出力部１５は、Ｉ／Ｆ１０７を介して表示部１０９に評価結果を送信する。

【0058】

次に、本実施形態における皮膚評価システム１００の動作の一例について説明する。図３は、本実施形態における皮膚評価システム１００の動作の一例を示すフローチャートである。

【0059】

まず、ステップＳ１１０において、取得部１１は、皮膚を含む画像を取得する。かかる場合、例えば撮像装置５により撮像された画像を、公共通信網４を介して取得してもよい。また、撮像装置５により、画像を撮像するとき、照明器具６を用いて皮膚に光を照射してもよいがこの限りではなく、照明器具６を用いることなく画像を撮像してもよい。また、例えばサーバ３に記憶されている皮膚を含む画像を、公共通信網４を介して取得してもよい。取得部１１は、撮像装置５により撮像された画像を、Ｉ／Ｆ１０５を介して取得してもよい。取得部１１は、例えば記憶部１４を介して、画像を保存部１０４に保存する。

【0060】

また、ステップＳ１１０において、取得部１１は、２以上の各波長の光が照射された皮膚を含む画像をそれぞれ取得してもよい。かかる場合、例えば取得部１１は、照明器具６により、９００ｎｍ～１３００ｎｍの任意の波長の光と、１３００ｎｍ～１７００ｎｍの任意の波長の光とがそれぞれ照射された皮膚の画像をそれぞれ取得してもよい。また、ステップＳ１１０において、取得部１１は、９８０ｎｍ及び１３６０ｎｍ、９８０ｎｍ及び１４００ｎｍ、１２００ｎｍ及び１３８０ｎｍ、又は１２００ｎｍ及び１６５０ｎｍのうちの何れかの組み合わせの波長の光が照射された皮膚の画像をそれぞれ取得してもよい。また、ステップＳ１１０において、取得部１１は、各波長の強度を示すモノクロ画像を取得してもよい。また、ステップＳ１１０において、取得部１１は、皮膚に含まれる水分情報を評価する場合、９５０ｎｍ～１０００ｎｍ、１０５０ｎｍ～１１００ｎｍ、１３５０ｎｍ～１４５０ｎｍのうちの何れかの３波長の光がそれぞれ照射された皮膚の画像を取得してもよい。また、取得部１１は、皮膚に含まれる皮脂情報を評価する場合、１１５０ｎｍ～１２５０ｎｍ、１３５０ｎｍ～１４５０ｎｍ、１６００ｎｍ～１７００ｎｍのうちの何れかの３波長の光がそれぞれ照射された皮膚の画像を取得してもよい。

【0061】

また、ステップＳ１１０において、取得部１１は、ユーザの状態に関する状態情報と、ユーザの状態毎にそれぞれ異なる皮膚を含む画像をそれぞれ取得してもよい。状態情報は、ユーザの状態に関する情報であり、例えばユーザの健康、病気、疾患、疾患の経過、体調等に関する情報である。かかる場合、例えばステップＳ１１０において、ユーザが健康な状態の場合の皮膚を含む画像と、ユーザが病気の場合の皮膚を含む画像とをそれぞれ取得してもよい。

【0062】

また、ステップＳ１１０において、取得部１１は、２以上の時点におけるユーザのそれぞれ異なる皮膚を含む画像をそれぞれ取得してもよい。かかる場合、例えばステップＳ１１０において、ある時点におけるユーザの皮膚を含む画像と、日時が異なる時点におけるユーザの皮膚を含む画像とをそれぞれ取得してもよい。

【0063】

また、ステップＳ１１０において、取得部１１は、ユーザに関するユーザ情報を取得してもよい。ユーザ情報は、ユーザに関する情報であり、例えばユーザの状態情報、年齢、性別、持病等に関する情報である。

【0064】

次に、ステップＳ１２０において、画像処理部１２は、ステップＳ１１０において、取得部１１により取得された画像に補正等の処理を行う。画像処理部１２は、例えば画像を平滑化する。かかる場合、まず画像処理部１２は、例えばミディアンフィルタ、ガウシアンフィルタ、移動平均、Ｓａｖｉｔｚｋｙ－Ｇｏｌａｙ法等を用いて、画像を平滑化する。また、画像処理部１２は、例えば画像を平滑化し、平滑化された画像と平滑化される前の画像に基づいて、ラプラシアンフィルタ（２階微分）、アンシャープ方式等を用いて、画像を先鋭化してもよい。かかる場合、画像処理部１２は、例えば平滑化された画像と平滑化される前の画像との差分を算出し、差分を大きくするように画像を先鋭化する。平滑化は、画像をぼかすことであり、例えば画像の画素値の変化を小さくする処理である。先鋭化は、例えば画像の画素値の変化を大きくする処理である。

【0065】

次に、ステップＳ１３０において、変換部１６は、画像処理部１２より処理された画像に基づく、スペクトル画像を取得する。変換部１６は、例えば皮膚に照射される光を含む光源画像に対する画像の相対反射率に基づくスペクトル画像を取得する。皮膚に照射される光は、ステップＳ１１０において、画像を撮像するときに皮膚に照射した光、又は同等の波長の光である。また、ステップＳ１３０において、変換部１６は、例えば白板を撮像した白板画像に対する画像の相対反射率に基づくスペクトル画像を取得する。白板は、一定の反射率を要する基準板である。これにより照明光源の変動によらず、成分情報およびその他構成物の相対反射率を算出し、比較することができる。

【0066】

また、ステップＳ１３０において、変換部１６は、ステップＳ１１０において取得部１１が取得したそれぞれの画像をそれぞれスペクトル画像に変換してもよい。例えば、ステップＳ１３０において、変換部１６は、ステップＳ１１０において取得部１１が取得した９５０ｎｍ～１０００ｎｍ、１０５０ｎｍ～１１００ｎｍ、１３５０ｎｍ～１４５０ｎｍのうちの何れかの３波長の光がそれぞれ照射された皮膚の画像をそれぞれ、図４（ａ）、図４（ｂ）、図４（ｃ）に示すようなスペクトル画像に変換してもよい。

【0067】

また、ステップＳ１３０において、変換部１６は、光源画像又は白板画像を撮像するときの条件である撮像条件と、皮膚を撮像するときの撮像条件とに基づいて、画像を補正してもよい。撮像条件は、例えば撮像するときのゲイン、露光時間、明るさ等である。例えば、変換部１６は、光源画像又は白板画像を撮像するときの照明器具６の光強度と、ステップＳ１１０において取得した画像を撮像するときの照明器具６の光強度の差に基づいて、画像のゲイン及び露光時間を補正する。ステップＳ１３０において、変換部１６は、補正した画像をスペクトル画像に変換する。

【0068】

次に、ステップＳ１４０において、抽出部１７は、ステップＳ１３０において取得したスペクトル画像から皮膚の成分を示す図４（ｄ）に示すようなスペクトル画像を抽出する。例えば抽出部１７は、スペクトル画像から、予め取得された皮膚の成分の波長を示す基準波長との差分が閾値以下となる波長を抽出し、抽出した波長を示すスペクトル画像を取得する。例えば抽出部１７は、ＳＡＭ（Spectral Angle Mapper）法等を用いて、予め取得された皮膚の成分の波長を示す基準波長と近似するスペクトルを抽出する。基準波長は、例えば３８０ｎｍ～９００ｎｍの波長範囲内から選択した任意の波長である。これにより、画像に含まれる皮膚の成分のみを抽出し、ノイズを排除することが可能となる。

【0069】

また、ステップＳ１４０において、抽出部１７は、予め取得された参照用スペクトル画像と皮膚の成分を示すスペクトル画像とからなるデータセットを学習データとして用い、入力を参照用スペクトル画像とし、出力を皮膚の成分を示すスペクトル画像として、機械学習により生成された抽出モデルを用いて、ステップＳ１３０により取得されたスペクトル画像に基づいて、皮膚の成分を示すスペクトル画像を抽出してもよい。

【0070】

抽出モデルの生成方法として、例えばニューラルネットワークをモデルとした機械学習を用いて、抽出モデルを生成してもよい。抽出モデルは、例えばＣＮＮ（Convolution Neural Network）等のニューラルネットワークをモデルとした機械学習を用いて生成されるほか、任意のモデルが用いられてもよい。また、抽出モデルの生成方法として、例えば線形判別、サポートベクターマシン、ｋ－近傍法、ランダムフォレスト、ディープラーニング等を用いて、抽出モデルを生成してもよい。

【0071】

かかる場合、抽出モデルには、例えば図５のように、入力データである参照用スペクトル画像と出力データである皮膚の成分を示す成分スペクトル画像との間における連関度を有する連関性が記憶される。連関度は、入力データと出力データとの繋がりの度合いを示しており、例えば連関度が高いほど各データの繋がりが強いと判断することができる。連関度は、例えば百分率等の３値以上又は３段階以上で示されるほか、２値又は２段階で示されてもよい。また、参照用スペクトル画像は、予め取得した学習データに用いるための皮膚を含むスペクトル画像である。また、皮膚の成分を示す成分スペクトル画像は、ステップＳ１４０と同様の方法で取得したスペクトル画像であってもよい。成分スペクトル画像は、例えば皮膚を含むスペクトル画像から、ＳＡＭ法等を用いて、予め取得された皮膚の成分の波長を示す基準波長と近似するスペクトルを抽出したスペクトル画像であってもよい。

【0072】

例えば連関性は、複数の入力データ、対、複数の出力データの間における繋がりの度合いにより構築される。連関性は、機械学習の過程で適宜更新され、例えば複数の入力データ、及び複数の出力データに基づいて最適化された関数を用いた分類器を示す。なお、連関性は、例えば各データの間における繋がりの度合いを示す複数の連関度を有してもよい。連関度は、例えばデータベースがニューラルネットワークで構築される場合、重み変数に対応させることができる。連関性は、例えば図５に示すように、複数の入力データと、複数の出力データとの間における繋がりの度合いを示してもよい。この場合、連関性を用いることで、図５の「スペクトル画像Ａ」～「スペクトル画像Ｃ」のそれぞれの入力データに対し、「成分スペクトル画像Ａ」～「成分スペクトル画像Ｃ」の複数の出力データとの関係の度合いを紐づけて記憶させることができる。このため、例えば連関性を介して、１つの出力データに対して、複数の入力データを紐づけることができる。これにより、入力データに対して多角的な出力データの選択を実現することができる。

【0073】

連関性は、例えば各入力データと、各出力データとをそれぞれ紐づける複数の連関度を有する。連関度は、例えば百分率、１０段階、又は５段階等の３段階以上で示され、例えば線の特徴（例えば太さ等）で示される。例えば、入力データに含まれる「スペクトル画像Ａ」は、出力データに含まれる「成分スペクトル画像Ａ」との間の連関度ＡＡ「７３％」を示し、出力データに含まれる「成分スペクトル画像Ｂ」との間の連関度ＡＢ「１２％」を示す。すなわち、「連関度」は、各データ間における繋がりの度合いを示しており、例えば連関度が高いほど、各データの繋がりが強いことを示す。

【0074】

このような図５に示す３段階以上の連関度を予め取得しておく。つまり実際の解の判別を行う上で、入力データと、出力データとの何れが採用、評価されたか、過去のデータセットを蓄積しておき、これらを分析、解析することで図５に示す連関度を作り上げておく。

【0075】

例えば、過去において「スペクトル画像Ｂ」という入力データに対して、「成分スペクトル画像Ｂ」が最も適合性が高いと判断され、評価されたものとする。このようなデータセットを集めて分析することにより、入力データと出力データとの連関度が強くなる。

【0076】

この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例え「スペクトル画像Ｂ」という入力データに対して、「成分スペクトル画像Ｂ」が推定される事例が多い場合には、この「スペクトル画像Ｂ」と「成分スペクトル画像Ｂ」とにつながる連関度をより高く設定する。

【0077】

また、この連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。

【0078】

また、抽出モデルは、入力データと出力データとの間に少なくとも１以上の隠れ層が設けられ、機械学習させるようにしてもよい。入力データ又は隠れ層データの何れか一方又は両方において上述した連関度が設定され、これが各データの重み付けとなり、これに基づいて出力の選択が行われる。そして、この連関度がある閾値を超えた場合に、その出力を選択するようにしてもよい。

【0079】

このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを作った後に、実際にこれから新たにスペクトル画像から成分スペクトル画像の推定を行うこととなる。かかる場合には、ステップＳ１３０により取得されたスペクトル画像に対する成分スペクトル画像を新たに取得する。推定の際には、例えば予め取得した図５に示す連関度を参照する。例えば、新たに取得したスペクトル画像が「スペクトル画像Ａ」と同一かこれに類似するものである場合には、連関度を介して「成分スペクトル画像Ａ」との間の連関度ＡＡ「７３％」、「成分スペクトル画像Ｂ」との間の連関度ＡＢ「１２％」で関連付けられている。この場合には、連関度の最も高い「成分スペクトル画像Ａ」を最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められる「成分スペクトル画像Ｂ」を最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。

【0080】

このような連関度を参照することにより、スペクトル画像が、入力データと同一又は類似である場合のほか、非類似である場合においても、入力データに適した出力データを定量的に選択することができる。

【0081】

次に、ステップＳ１５０において、評価部１３は、ステップＳ１４０により抽出された成分スペクトル画像に基づいて、皮膚に含まれる成分情報を評価する。例えば評価部１３は、成分スペクトル画像に基づき、所定の波長範囲に含まれる特定波長を正規化波長とし、所定の波長範囲に含まれる特定波長を評価波長として選択し、正規化波長と評価波長との間において、正規化波長と評価波長との分光強度の差に基づいて成分情報を評価する。正規化波長は、例えば光のムラや影等、条件が異なっていた場合においても、それらの影響を軽減して、成分情報を評価するために正規化される対象となる波長である。評価波長は、正規化波長を正規化するための評価用の波長である。

【0082】

成分情報は、皮膚に含まれる成分に関する情報である。成分情報は、例えば皮膚の水分と皮脂とを示す情報を含む。皮膚の水分と皮脂とを示す情報は、例えば水分情報と皮脂情報とを含む。水分情報は、皮膚に含まれる水分に関する情報であり、例えば単位体積当たりの水分量等を示す情報である。皮脂情報は、皮膚に含まれる皮脂に関する情報であり、例えば単位体積当たりの皮脂量等を示す情報である。

【0083】

図６は、スペクトル画像が示す複数のスペクトルグラフである。図６は、縦軸を光の強度、横軸を波長［ｎｍ］とするグラフである。複数のスペクトルグラフの実線、破線の各々は、例えば撮像された各画像のスペクトルに対応する。評価部１３は、例えば９００ｎｍ～１３００ｎｍの周波数帯に含まれる特定波長を第１正規化波長とし、１３００ｎｍ～１７００ｎｍの周波数帯に含まれる特定波長を第１評価波長として選択する。評価部１３は、例えば９８０ｎｍを第１正規化波長とし、１３６０ｎｍを第１評価波長としてもよい。また、評価部１３は、例えば９８０ｎｍを第１正規化波長とし、１４００ｎｍを第１評価波長としてもよい。また、評価部１３は、例えば１２００ｎｍを第１正規化波長とし、１３８０ｎｍを第１評価波長としてもよい。また、評価部１３は、例えば１２００ｎｍを第１正規化波長とし、１６５０ｎｍを第１評価波長としてもよい。

【0084】

評価部１３は、このようなスペクトルグラフに含まれる波長を特定波長とし、正規化波長、及び評価波長として選択する。評価部１３は、各スペクトルグラフ間のスペクトル強度の差分値が最も大きくなる波長を特定波長としてもよい。また、評価部１３は、各スペクトルグラフ上で凸のピークが形成されている特異点を特定波長として特定するようにしてもよい。また、評価部１３は、回帰分析、総当たり解析、機械学習等を用いた学習済みモデルを用いた解析により、特定波長を選択してもよい。

【0085】

ここで、例えば正規化波長及び評価波長は、１点で特定してもよいし、複数を特定してもよい。また、これらの正規化波長及び評価波長を中心とした波長範囲を設定するようにしてもよい。波長範囲は、例えば正規化波長及び評価波長の差が±１０ｎｍとなる波長幅等のように、予め設定した所定の波長範囲で構成されてもよい。このため、仮に正規化波長が７８０ｎｍであり、波長範囲が±１０ｎｍであれば、実際にスペクトルデータを評価する範囲は、７７０～７９０ｎｍとなる。かかる場合、正規化波長及び評価波長の決め方としては、例えば各波長の範囲の中心の波長を特定波長としてもよい。

【0086】

次に、評価部１３は、選択された正規化波長と評価波長との間において、正規化波長と評価波長との分光強度の差により成分情報を示す成分レベルを算出し、成分情報を評価する。

【0087】

評価部１３は、例えば正規化波長と評価波長との分光強度の差によるスペクトル変化により成分レベルを算出する。かかる場合、正規化波長と評価波長との分光強度の和で正規化することにより、例えば光のムラや影等、条件が異なっていた場合においても、それらの影響を軽減して、成分レベルを比較可能にすることができる。これらの成分レベルの算出は、例えば公知のスペクトル計測手法、スペクトル解析技法（例えば「ＮＤＳＩ：normalized difference spectral index、正規化分光反射指数」）等により次式により求める。「Ｉ_λ」は、例えば「λ_ｎｍ」の分光強度となり、正規化波長は「λ２」、評価波長は「λ１」として求められる。

【0088】

【数1】

評価部１３は、例えばスペクトル画像の評価結果に基づいて、部位ごとのピクセルの分布から成分レベルを付与する。成分レベルは、特定の成分の濃度又は量の程度を示す値である。また、成分レベルとして、例えば面積当たりの成分情報に合わせ、レベル１～５等の具体的な成分の量の程度を示すようにしてもよい。

【0089】

評価部１３は、例えば保存部１０４に保存された出力用フォーマット等の形式データを用いて、評価結果を生成する。評価部１３は、例えば記憶部１４を介して、評価結果を保存部１０４に保存する。

【0090】

また、ステップＳ１５０において、評価部１３は、ステップＳ１１０により取得された複数の画像に基づくそれぞれのスペクトル画像の比較に基づき、皮膚の成分情報を評価してもよい。かかる場合、例えばステップＳ１１０により９５０ｎｍ～１０００ｎｍ、１０５０ｎｍ～１１００ｎｍ、１３５０ｎｍ～１４５０ｎｍの３波長の光がそれぞれ照射された皮膚の画像をそれぞれ取得した場合、９５０ｎｍを第１正規化波長とし、１０５５ｎｍを第１評価波長とし、数１の式を用いて第１正規化分光反射指数と、１０５５ｎｍを第２正規化波長とし、１３５０ｎｍを第２評価波長とし、数１の式を用いて第２正規化分光反射指数とを算出し、第１正規化分光反射指数と第２正規化分光反射指数とに基づいて、皮膚の成分情報を評価してもよい。かかる場合、例えば第１正規化分光反射指数と第２正規化分光反射指数との平均に基づいて、皮膚の成分情報を評価してもよい。

【0091】

また、ステップＳ１５０において、３波長を用いて正規化分光反射指数を算出してもよい。かかる場合、例えば、９５０ｎｍ～１０００ｎｍ、１０５０ｎｍ～１１００ｎｍ、１３５０ｎｍ～１４５０ｎｍのうちの何れかの３波長を用いて正規化分光反射指数を算出してもよい。例えば９５０ｎｍ～１０００ｎｍに含まれる波長をλ１、１０５０ｎｍ～１１００ｎｍに含まれる波長をλ２、１３５０ｎｍ～１４５０ｎｍに含まれる波長をλ３とすると、下記の数２、数３の何れかを用いて正規化分光反射指数を算出してもよい。

【数2】

【数3】

【0092】

また、ステップＳ１５０において、評価部１３は、ステップＳ１１０により２以上の時点におけるユーザのそれぞれ異なる皮膚を含む画像を取得した場合、ステップＳ１３０により変換されたスペクトル画像の正規化分光反射指数に基づいて皮膚の成分情報を評価してもよい。

【0093】

また、ステップＳ１５０において、評価部１３は、ステップＳ１１０によりユーザの状態毎にそれぞれ異なる皮膚を含む画像を取得した場合、ステップＳ１３０により変換されたスペクトル画像の正規化分光反射指数に基づいて皮膚の成分情報を評価してもよい。

【0094】

また、ステップＳ１５０において、評価部１３は、予め取得された参照用スペクトル画像と成分情報の評価とからなるデータセットを学習データとして用い、入力を参照用スペクトル画像とし、出力を成分情報として、機械学習により生成された評価モデルを用いて、スペクトル画像に基づき、皮膚に含まれる成分情報を評価してもよい。

【0095】

参照用スペクトル画像は、評価モデルの学習データとして用いるスペクトル画像であり、例えば予め取得された皮膚を示すスペクトル画像であるが、これに限らず、皮膚を示すスペクトルを含む任意の画像を用いてもよい。また、参照用スペクトル画像は、予め取得された成分スペクトル画像であってもよい。また、成分情報は、例えば成分レベルであってもよい。成分情報は、スペクトル画像に基づき、所定の波長範囲に含まれる特定波長を正規化波長とし、所定の波長範囲に含まれる特定波長を評価波長として選択し、正規化波長と評価波長との間において、正規化波長と評価波長との分光強度の差により成分レベルを算出し、算出した成分レベルに基づいて、取得された成分情報であってもよい。

【0096】

評価モデルの生成方法として、例えばニューラルネットワークをモデルとした機械学習を用いて、評価モデルを生成してもよい。評価モデルは、例えばＣＮＮ（Convolution Neural Network）等のニューラルネットワークをモデルとした機械学習を用いて生成されるほか、任意のモデルが用いられてもよい。

【0097】

かかる場合、評価モデルには、例えば図７のように、入力データである参照用スペクトル画像と出力データである成分情報の評価との間における連関度を有する連関性が記憶される。

【0098】

また、評価モデルは、入力データと出力データとの間に少なくとも１以上の隠れ層が設けられ、機械学習させるようにしてもよい。入力データ又は隠れ層データの何れか一方又は両方において上述した連関度が設定され、これが各データの重み付けとなり、これに基づいて出力の選択が行われる。そして、この連関度がある閾値を超えた場合に、その出力を選択するようにしてもよい。

【0099】

このような学習済みデータを作った後に、実際にこれから新たにスペクトル画像から成分情報の推定を行うこととなる。かかる場合には、ステップＳ１４０において抽出したスペクトル画像に対する成分情報を新たに取得する。

【0100】

このような連関度を参照することにより、スペクトル画像が、入力データと同一又は類似である場合のほか、非類似である場合においても、入力データに適した出力データを定量的に選択することができる。

【0101】

次に、ステップＳ１６０において、ステップＳ１５０により評価された成分情報に基づき、ユーザの健康状態を診断する。かかる場合、例えば成分情報と健康状態とが紐づけられた対応表を予め取得しておき、ステップＳ１６０において、対応表を参照し、ステップＳ１５０により評価された成分情報に基づき、ユーザの健康状態を診断してもよい。

【0102】

また、ステップＳ１６０において、ステップＳ１５０により評価した成分情報とステップＳ１１０により取得したユーザ情報とに基づき、ユーザの健康状態を診断してもよい。かかる場合、診断部１８は、予め取得された参照用成分情報及び参照用ユーザ情報と健康状態とからなるデータセットを学習データとして用い、入力を参照用成分情報及び参照用ユーザ情報とし、出力を健康状態として、機械学習により生成された診断モデルを用いて、成分情報に基づき、ユーザの健康情報をしてもよい。参照用成分情報は、診断モデルの学習データとして用いる成分情報である。参照用ユーザ情報は、診断モデルの学習データとして用いるユーザ情報である。健康状態は、健康の度合いを示す情報であり、例えば病気や、健康を示す指数等の値である。また、健康状態は、病気の確率等であってもよい。

【0103】

診断モデルの生成方法として、例えばニューラルネットワークをモデルとした機械学習を用いて、診断モデルを生成してもよい。診断モデルは、例えばＣＮＮ（Convolution Neural Network）等のニューラルネットワークをモデルとした機械学習を用いて生成されるほか、任意のモデルが用いられてもよい。

【0104】

かかる場合、診断モデルには、例えば図８のように、入力データである参照用成分情報及び参照用ユーザ情報と出力データである健康状態との間における連関度を有する連関性が記憶される。

【0105】

また、診断モデルは、入力データと出力データとの間に少なくとも１以上の隠れ層が設けられ、機械学習させるようにしてもよい。入力データ又は隠れ層データの何れか一方又は両方において上述した連関度が設定され、これが各データの重み付けとなり、これに基づいて出力の選択が行われる。そして、この連関度がある閾値を超えた場合に、その出力を選択するようにしてもよい。

【0106】

このような学習済みデータを作った後に、実際にこれから新たにステップＳ１５０により評価した成分情報とステップＳ１１０により取得したユーザ情報とに基づき、ユーザの健康状態を診断することとなる。

【0107】

このような連関度を参照することにより、ユーザ情報及び成分情報が、入力データと同一又は類似である場合のほか、非類似である場合においても、入力データに適した出力データを定量的に選択することができる。

【0108】

また、ステップＳ１６０において、ステップＳ１５０により評価した成分情報に含まれる水分情報と皮脂情報とに基づき、ユーザの健康状態を診断してもよい。かかる場合、例えば水分情報と皮脂情報との比較に基づいて、健康状態を診断してもよい。例えば、診断部１８は、水分量に対する皮脂量の割合に基づいて、健康状態を診断してもよい。

【0109】

また、診断部１８は、予め取得された参照用水分情報及び参照用皮脂情報と健康状態とからなるデータセットを学習データとして用い、入力を参照用水分情報及び参照用皮脂情報とし、出力を健康状態として、機械学習により生成された診断モデルを用いて、水分情報と皮脂情報とに基づき、ユーザの健康情報をしてもよい。参照用水分情報は、診断モデルの学習データとして用いる水分情報である。参照用皮脂情報は、診断モデルの学習データとして用いる皮脂情報である。

【0110】

診断モデルの生成方法として、例えばニューラルネットワークをモデルとした機械学習を用いて、診断モデルを生成してもよい。診断モデルは、例えばＣＮＮ（Convolution Neural Network）等のニューラルネットワークをモデルとした機械学習を用いて生成されるほか、任意のモデルが用いられてもよい。

【0111】

かかる場合、診断モデルには、例えば図９のように、入力データである参照用水分情報及び参照用皮脂情報と出力データである健康状態との間における連関度を有する連関性が記憶される。

【0112】

また、診断モデルは、入力データと出力データとの間に少なくとも１以上の隠れ層が設けられ、機械学習させるようにしてもよい。入力データ又は隠れ層データの何れか一方又は両方において上述した連関度が設定され、これが各データの重み付けとなり、これに基づいて出力の選択が行われる。そして、この連関度がある閾値を超えた場合に、その出力を選択するようにしてもよい。

【0113】

このような学習済みデータを作った後に、実際にこれから新たにステップＳ１５０により評価した成分情報に含まれる水分情報と皮脂情報とに基づき、ユーザの健康状態を診断することとなる。

【0114】

このような連関度を参照することにより、水分情報及び皮脂情報が、入力データと同一又は類似である場合のほか、非類似である場合においても、入力データに適した出力データを定量的に選択することができる。

【0115】

次に、出力部１５により評価結果及び診断結果が出力される。出力部１５は、評価結果及び診断結果を表示部１０９等に出力する。また、出力部１５は、公共通信網４を介して、評価結果及び診断結果をユーザ端末２に出力してもよい。

【0116】

これにより、本実施形態における皮膚評価装置１の動作が終了する。これにより、皮膚を含む画像からユーザの成分情報を取得することが可能となる。このため、簡易的にユーザの皮膚の成分を評価することが可能となる。

【0117】

本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0118】

１ ：皮膚評価装置
２ ：ユーザ端末
３ ：サーバ
４ ：公共通信網
５ ：撮像装置
６ ：照明器具
７ ：皮膚
１０ ：筐体
１１ ：取得部
１２ ：画像処理部
１３ ：評価部
１４ ：記憶部
１５ ：出力部
１６ ：変換部
１７ ：抽出部
１８ ：診断部
１００ ：皮膚評価システム
１０１ ：ＣＰＵ
１０２ ：ＲＯＭ
１０３ ：ＲＡＭ
１０４ ：保存部
１０５ ：Ｉ／Ｆ
１０６ ：Ｉ／Ｆ
１０７ ：Ｉ／Ｆ
１０８ ：入力部
１０９ ：表示部
１１０ ：内部バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】