(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-10
(45)【発行日】2024-10-21
(54)【発明の名称】情報処理方法、及び、情報処理システム
(51)【国際特許分類】
A61B 5/00 20060101AFI20241011BHJP
G01N 21/27 20060101ALI20241011BHJP
【ＦＩ】
A61B5/00 M
A61B5/00 101A
G01N21/27 B
【請求項の数】
13
(21)【出願番号】P 2022508144
(86)(22)【出願日】2021-02-15
(86)【国際出願番号】 JP2021005396
(87)【国際公開番号】W WO2021186979
(87)【国際公開日】2021-09-23
【審査請求日】2023-12-14
(31)【優先権主張番号】P 2020048322
(32)【優先日】2020-03-18
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】榊原 瑞穂
(72)【発明者】
【氏名】富山 直美
(72)【発明者】
【氏名】佐草 敦
(72)【発明者】
【氏名】藤平 純一
(72)【発明者】
【氏名】松尾 三紀子
(72)【発明者】
【氏名】青木 裕一
(72)【発明者】
【氏名】大森 基司
【審査官】後藤 昌夫
(56)【参考文献】
【文献】国際公開第２０１７／１８８５８９（ＷＯ，Ａ１）
【文献】特開２０１８－０３８７４５（ＪＰ，Ａ）
【文献】特開２０１６－１５９０６４（ＪＰ，Ａ）
【文献】特開２０１９－２１７２５３（ＪＰ，Ａ）
【文献】国際公開第２０１４／０１７０９２（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ５／００
Ｇ０１Ｎ ２１／２７
(57)【特許請求の範囲】
【請求項1】
少なくとも一つのプロセッサが実行する情報処理方法であって、
スペクトルカメラが第１の時点にユーザの肌を測定したデータを含む第１測定結果を取得する第１取得ステップと、
前記第１測定結果に基づいて、前記ユーザの前記第１の時点における隠れシミの状況を含む第１推定結果を推定する第１推定ステップと、
前記第１推定結果と、前記第１の時点より前の互いに異なる複数の第２の時点のそれぞれにおいて、前記スペクトルカメラが前記ユーザの肌を測定したデータを含む第２測定結果に基づく前記ユーザの隠れシミの状況を含む複数の第２推定結果とに基づいて、前記ユーザの肌状態の判定を行う第１判定ステップと、
前記ユーザの肌の第１画像データを取得する第２取得ステップと、を含み、
前記ユーザの肌状態の判定結果は、隠れシミがある領域を示す状態情報を含み、
さらに、前記状態情報に基づいて、前記第１画像データに隠れシミがある前記領域を重畳した第２画像データを出力する出力ステップを含む
情報処理方法。
【請求項2】
前記第１判定ステップでは、前記第１の時点における測定時の条件を示す測定条件ログと一致又は類似する測定条件ログを有する２以上の第２推定結果を前記複数の第２推定結果として抽出し、抽出された前記２以上の第２推定結果に基づいて、前記判定を行う請求項１に記載の情報処理方法。
【請求項3】
さらに、前記第１推定結果に基づいて、前記第１の時点における紫外線量を推定する第２推定ステップを含み、前記第１判定ステップでは、前記第１推定結果に基づく前記ユーザの前記隠れシミの状況と、前記紫外線量とに基づいて、前記第１の時点より後の第３の時点における前記ユーザの前記隠れシミの状況を推定し、前記第３の時点における前記判定を行う
請求項１に記載の情報処理方法。
【請求項4】
前記状態情報は、前記判定結果に基づく前記ユーザに推奨される行動を示す情報をさらに含む請求項１～３のいずれか１項に記載の情報処理方法。
【請求項5】
前記第１画像データは、画像カメラが前記ユーザの肌を撮像することにより生成され、
前記スペクトルカメラと前記画像カメラとは、同期して動作する
請求項１～４のいずれか１項に記載の情報処理方法。
【請求項6】
さらに、前記第１の時点において、前記ユーザが屋内にいるか否かを判定する第２判定ステップと、
前記第２判定ステップにおいて、前記ユーザが屋内にいると判定された場合、前記ユーザの肌状態に応じて前記屋内にある機器の動作を制御する制御ステップとを含む
請求項１～５のいずれか１項に記載の情報処理方法。
【請求項7】
前記第１測定結果は、前記スペクトルカメラが前記第１の時点に太陽光を測定したデータを含み、前記第１推定ステップでは、前記ユーザの肌を測定したデータと前記太陽光を測定したデータとの差分をとる
請求項１～６のいずれか１項に記載の情報処理方法。
【請求項8】
少なくとも一つのプロセッサが実行する情報処理方法であって、
スペクトルカメラが第１の時点にユーザの肌を測定したデータを含む第１測定結果を取得する第１取得ステップと、
前記第１測定結果に基づいて、前記ユーザの前記第１の時点における肌水分量及び隠れシミの状況の少なくとも一方を含む第１推定結果を推定する第１推定ステップと、
前記第１推定結果と、前記第１の時点より前の互いに異なる複数の第２の時点のそれぞれにおいて、前記スペクトルカメラが前記ユーザの肌を測定したデータを含む第２測定結果に基づく前記ユーザの肌水分量及び隠れシミの状況の前記少なくとも一方を含む複数の第２推定結果とに基づいて、前記ユーザの肌状態の判定を行う第１判定ステップとを含み、
前記第１測定結果は、前記スペクトルカメラが前記第１の時点に太陽光を測定したデータを含み、
前記第１推定ステップでは、前記ユーザの肌を測定したデータと前記太陽光を測定したデータとの差分をとる
情報処理方法。
【請求項9】
少なくとも一つのプロセッサが実行する情報処理方法であって、
スペクトルカメラが第１の時点にユーザの肌を測定したデータを含む第１測定結果に基づく、前記ユーザの前記第１の時点における隠れシミの状況を含む第１推定結果を取得する第１取得ステップと、
前記第１推定結果と、前記第１の時点より前の互いに異なる複数の第２の時点のそれぞれにおいて、前記スペクトルカメラが前記ユーザの肌を測定したデータを含む第２測定結果に基づく前記ユーザの隠れシミの状況を含む複数の第２推定結果とに基づいて、前記ユーザの肌状態の判定を行う判定ステップと、
前記ユーザの肌の第１画像データを取得する第２取得ステップと、を含み、
前記ユーザの肌状態の判定結果は、隠れシミがある領域を示す状態情報を含み、
さらに、前記状態情報に基づいて、前記ユーザの肌の第１画像データに隠れシミがある前記領域を重畳した第２画像データを出力する出力ステップを含む
情報処理方法。
【請求項10】
少なくとも一つのプロセッサが実行する情報処理方法であって、
スペクトルカメラが第１の時点にユーザの肌を測定したデータを含む第１測定結果を取得する第１取得ステップと、
前記第１の時点より前の互いに異なる複数の第２の時点のそれぞれにおいて、前記スペクトルカメラが前記ユーザの肌を測定したデータを含む第２測定結果を取得する第２取得ステップと、
複数の前記第２測定結果を入力として、前記ユーザの肌状態の判定結果を出力するように学習された学習済みモデルに対して、前記第１測定結果を入力することで、前記第１の時点の前記ユーザの肌状態の判定結果を取得する判定ステップと、
前記ユーザの肌の第１画像データを取得する第３取得ステップと、を含み、
前記ユーザの肌状態の判定結果は、隠れシミがある領域を示す状態情報を含み、
さらに、前記状態情報に基づいて、前記第１画像データに隠れシミがある前記領域を重畳した第２画像データを出力する出力ステップを含む
情報処理方法。
【請求項11】
前記学習済みモデルは、前記複数の第２の時点のそれぞれにおける測定条件ログを含む複数の前記第２測定結果を入力として、前記ユーザの肌状態の判定結果を出力するように学習されており、前記判定ステップでは、前記第１の時点における前記ユーザの測定条件ログを含む前記第１測定結果を入力することで、前記第１の時点の前記ユーザの肌状態の判定結果を取得する
請求項１０に記載の情報処理方法。
【請求項12】
スペクトルカメラが第１の時点にユーザの肌を測定することで得られるデータを含む第１測定結果を取得する取得部と、前記第１測定結果に基づいて、前記ユーザの前記第１の時点における隠れシミの状況を含む第１推定結果を推定する推定部と、
前記第１推定結果と、前記第１の時点より前の互いに異なる複数の第２の時点のそれぞれにおいて、前記スペクトルカメラが前記ユーザの肌を測定したデータを含む第２測定結果に基づく前記ユーザの隠れシミの状況を含む複数の第２推定結果とに基づいて、前記ユーザの肌状態の判定を行う判定部とを備え、
前記取得部は、さらに前記ユーザの肌の第１画像データを取得し、
前記ユーザの肌状態の判定結果は、隠れシミがある領域を示す状態情報を含み、
さらに、前記状態情報に基づいて、前記第１画像データに隠れシミがある前記領域を重畳した第２画像データを出力する出力部を備える
情報処理システム。
【請求項13】
少なくとも一つのプロセッサが実行する情報処理方法であって、
スペクトルカメラで第１の時点に測定したユーザの肌の第１データを含む第１測定結果を取得し、
前記第１測定結果に基づいて、前記第１の時点における、前記ユーザの隠れシミの状況を含む第１推定結果を推定し、
前記第１推定結果と、複数の第２推定結果とに基づいて、前記ユーザの肌状態の判定し、
複数の第２測定結果は、前記スペクトルカメラで複数の第２の時点に測定した前記ユーザの肌の複数の第２データを含み、
１または複数の第３測定結果は、前記複数の第２データから抽出され、かつ、前記スペクトルカメラが１または複数の第３の時点に測定した前記ユーザの肌を測定した複数の第３データを含み、
前記複数の第２推定結果は、前記１または複数の第３データに基づいて推定された、前記１または複数の第３の時点における、１または複数の前記ユーザの１または複数の前記ユーザの隠れシミの状況を含み、
前記複数の第２の時点は前記第１の時点より前であり、前記複数の第２の時点は互いに異なり、
前記第１測定結果は、前記第１データが測定された時の条件を示す第１測定ログを含み、前記第１測定ログは前記第１データと対応し、
前記複数の第２測定結果は、前記複数の第２データが測定された時の条件を示す複数の第２測定ログを含み、前記第２測定ログは前記第２データとそれぞれ対応し、
１または複数のログが、前記第２測定ログから抽出され、前記抽出された１または複数のログの各々は前記第１測定ログとそれぞれ一致又はまたは類似し、
１または複数のデータが、前記複数の第２データから抽出され、前記抽出された１または複数のデータは前記抽出された１または複数のログとそれぞれ対応し、
前記抽出された１または複数のデータは、前記１または複数の第３データであり、
前記ユーザの肌の第１画像データを取得し、
前記ユーザの肌状態の判定結果は、隠れシミがある領域を示す状態情報を含み、
さらに、前記状態情報に基づいて、前記ユーザの肌の第１画像データに隠れシミがある前記領域を重畳した第２画像データを出力する
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、肌状態判定方法、及び、肌状態判定システムに関する。
【背景技術】
【0002】
従来から、肌状態（例えば、肌が乾燥しているなど）を判定するために、肌水分量を測定することが行われている。肌水分量は、温度、湿度などの気象条件に依存して変化することがある。そのため、特許文献１には、肌水分量と気象条件との相関関係を求めることが開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１２－９５８２５号公報
【発明の概要】
【0004】
ところで、肌水分量などに基づいて、ユーザの肌状態を判定する場合、当該ユーザに応じた肌状態が判定されることが望まれる。
【0005】
そこで、本開示は、ユーザに応じた肌状態を判定することができる肌状態判定方法、及び、肌状態判定システムに関する。
【0006】
本開示の一態様に係る肌状態判定方法は、スペクトルカメラが第１の時点にユーザの肌を測定したデータを含む第１測定結果を取得する第１取得ステップと、前記第１測定結果に基づいて、前記ユーザの前記第１の時点における肌水分量及び隠れシミの状況の少なくとも一方を含む第１推定結果を推定する第１推定ステップと、前記第１推定結果と、前記第１の時点より前の互いに異なる複数の第２の時点のそれぞれにおいて、前記スペクトルカメラが前記ユーザの肌を測定したデータを含む第２測定結果に基づく前記ユーザの肌水分量及び隠れシミの状況の前記少なくとも一方を含む複数の第２推定結果とに基づいて、前記ユーザの肌状態の判定を行う第１判定ステップとを含む。
【0007】
本開示の一態様に係る肌状態判定方法は、スペクトルカメラが第１の時点にユーザの肌を測定したデータを含む第１測定結果に基づく、前記ユーザの前記第１の時点における肌水分量及び隠れシミの状況の少なくとも一方を含む第１推定結果を取得する取得ステップと、前記第１推定結果と、前記第１の時点より前の互いに異なる複数の第２の時点のそれぞれにおいて、前記スペクトルカメラが前記ユーザの肌を測定したデータを含む第２測定結果に基づく前記ユーザの肌水分量及び隠れシミの状況の前記少なくとも一方を含む複数の第２推定結果とに基づいて、前記ユーザの肌状態の判定を行う判定ステップとを含む。
【0008】
本開示の一態様に係る肌状態判定方法は、スペクトルカメラが第１の時点にユーザの肌を測定したデータを含む第１測定結果を取得する第１取得ステップと、前記第１の時点より前の互いに異なる複数の第２の時点のそれぞれにおいて、前記スペクトルカメラが前記ユーザの肌を測定したデータを含む第２測定結果を取得する第２取得ステップと、複数の前記第２測定結果を入力として、前記ユーザの肌状態の判定結果を出力するように学習された学習済みモデルに対して、前記第１測定結果を入力することで、前記第１の時点の前記ユーザの肌状態の判定結果を取得する判定ステップとを含む。
【0009】
本開示の一態様に係る肌状態判定システムは、スペクトルカメラが第１の時点にユーザの肌を測定することで得られるデータを含む第１測定結果を取得する取得部と、前記第１測定結果に基づいて、前記ユーザの前記第１の時点における肌水分量及び隠れシミの状況の少なくとも一方を含む第１推定結果を推定する推定部と、前記第１推定結果と、前記第１の時点より前の互いに異なる複数の第２の時点のそれぞれにおいて、前記スペクトルカメラが前記ユーザの肌を測定したデータを含む第２測定結果に基づく前記ユーザの肌水分量及び隠れシミの状況の前記少なくとも一方を含む複数の第２推定結果とに基づいて、前記ユーザの肌状態の判定を行う判定部とを備える。
【0010】
本開示の一態様に係る肌状態判定方法等によれば、ユーザに応じた肌状態を判定することができる。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
（本開示の概要）
特許文献１に記載のように、肌水分量と気象条件との相関関係を求めることで、例えば、異なる気象条件下で測定された肌水分量を、同一の気象条件下で測定された肌水分量に補正することが可能となる。つまり、２つの肌水分量を同一の気象条件下で測定されたものとして取り扱うことが可能となる。所定の気象条件のときの肌状態を判定するための肌水分量の閾値が設定されている場合、所定の気象条件以外の気象条件のときに測定された肌水分量を相関関係に基づいて補正することで、当該閾値での判定が可能となる。これにより、所定の気象条件と異なる気象条件で測定された肌水分量であっても、肌状態を精度よく判定することができる。
特許文献１に記載のように、肌水分量と気象条件との相関関係を求めることで、例えば、異なる気象条件下で測定された肌水分量を、同一の気象条件下で測定された肌水分量に補正することが可能となる。つまり、２つの肌水分量を同一の気象条件下で測定されたものとして取り扱うことが可能となる。所定の気象条件のときの肌状態を判定するための肌水分量の閾値が設定されている場合、所定の気象条件以外の気象条件のときに測定された肌水分量を相関関係に基づいて補正することで、当該閾値での判定が可能となる。これにより、所定の気象条件と異なる気象条件で測定された肌水分量であっても、肌状態を精度よく判定することができる。
【0013】
ところで、通常時の肌状態は、ユーザごとに異なる。そのため、一様な閾値などを用いて肌状態を判定すると、当該ユーザに応じた判定が行えないことがある。そこで、本願発明者らは、ユーザに応じた肌状態の判定を行うことができる肌状態判定方法等について、鋭意検討を行い、以下に説明する肌状態判定方法等を創案した。
【0014】
本開示の一態様に係る肌状態判定方法は、スペクトルカメラが第１の時点にユーザの肌を測定したデータを含む第１測定結果を取得する第１取得ステップと、前記第１測定結果に基づいて、前記ユーザの前記第１の時点における肌水分量及び隠れシミの状況の少なくとも一方を含む第１推定結果を推定する第１推定ステップと、前記第１推定結果と、前記第１の時点より前の互いに異なる複数の第２の時点のそれぞれにおいて、前記スペクトルカメラが前記ユーザの肌を測定したデータを含む第２測定結果に基づく前記ユーザの肌水分量及び隠れシミの状況の前記少なくとも一方を含む複数の第２推定結果とに基づいて、前記ユーザの肌状態の判定を行う第１判定ステップとを含む。
【0015】
これにより、ユーザの肌状態を、過去の当該ユーザの複数の第２推定結果に基づいて判定することができる。複数の第２推定結果は、例えば、通常時のユーザＵの肌水分量及び隠れシミの状況の少なくとも一方を含んでおり、ユーザごとに異なる結果である。よって、そのような複数の第２推定結果を用いることで、固定の閾値を用いた場合に比べて、ユーザに応じた肌状態を判定することができる。
【0016】
例えば、前記第１判定ステップでは、前記第１の時点における測定時の条件を示す測定条件ログと一致又は類似する測定条件ログを有する２以上の第２推定結果を前記複数の第２推定結果として抽出し、抽出された前記２以上の第２推定結果に基づいて、前記判定を行ってもよい。
【0017】
これにより、測定条件ログの違いが推定結果に影響を与えるような場合に、その影響を低減することができる。よって、第１の時点の測定時の測定条件ログに応じた肌状態を判定することができる。
【0018】
例えば、前記第１推定結果は、少なくとも前記隠れシミの状況を含み、さらに、前記第１推定結果に基づいて、前記第１の時点における紫外線量を推定する第２推定ステップを含み、前記第１判定ステップでは、前記第１推定結果に基づく前記ユーザの前記隠れシミの状況と、前記紫外線量とに基づいて、前記第１の時点より後の第３の時点における前記ユーザの前記隠れシミの状況を推定し、前記第３の時点における前記判定を行ってもよい。
【0019】
これにより、ユーザは、将来の隠れシミの状況を知ることができる。例えば、紫外線量における肌状態の変化度合い（隠れシミの変化度合い）は、ユーザごとに異なる。ユーザにおける紫外線量と肌状態の変化度合いとの相関関係に基づいて、第３の時点におけるユーザの肌状態の判定が行われる場合、現在より未来の第３の時点においても、ユーザに応じた肌状態を判定することができる。
【0020】
例えば、さらに、画像カメラが前記ユーザの肌を撮像した画像データを取得する第２取得ステップと、前記画像データに前記ユーザの肌状態の判定結果を反映した状態情報を出力する第１出力ステップとを含んでもよい。
【0021】
これにより、肌状態をわかりやすくユーザに提示することができる。
【0022】
例えば、前記状態情報は、前記判定結果に基づく前記ユーザに推奨される行動を示す情報を含んでもよい。
【0023】
これにより、ユーザは、状態情報を確認することで、推奨される行動を知ることができるので、ユーザに対する利便性が向上する。
【0024】
例えば、前記スペクトルカメラと前記画像カメラとは、同期して動作してもよい。
【0025】
これにより、画像データと第１測定とを同じタイミングで取得することができる。
【0026】
例えば、さらに、前記第１の時点において、前記ユーザが屋内にいるか否かを判定する第２判定ステップと、前記第２判定ステップにおいて、前記ユーザが屋内にいると判定された場合、前記ユーザの肌状態に応じて前記屋内にある機器の動作を制御する制御ステップとを含んでもよい。
【0027】
これにより、ユーザの肌状態に応じた空間環境を自動的に実現することができる。よって、ユーザに対する利便性がさらに向上する。
【0028】
例えば、前記第１測定結果は、前記スペクトルカメラが前記第１の時点に太陽光を測定したデータを含み、前記第１推定ステップでは、前記ユーザの肌を測定したデータと前記太陽光を測定したデータとの差分をとってもよい。
【0029】
これにより、環境光による影響を除くことができので、ユーザの肌水分量をより精度良く推定することができる。
【0030】
本開示の一態様に係る肌状態判定方法は、スペクトルカメラが第１の時点にユーザの肌を測定したデータを含む第１測定結果に基づく、前記ユーザの前記第１の時点における肌水分量及び隠れシミの状況の少なくとも一方を含む第１推定結果を取得する取得ステップと、前記第１推定結果と、前記第１の時点より前の互いに異なる複数の第２の時点のそれぞれにおいて、前記スペクトルカメラが前記ユーザの肌を測定したデータを含む第２測定結果に基づく前記ユーザの肌水分量及び隠れシミの状況の前記少なくとも一方を含む複数の第２推定結果とに基づいて、前記ユーザの肌状態の判定を行う判定ステップとを含む。
【0031】
これにより、取得した第１推定結果を用いて、ユーザに応じた肌状態を判定することができる。
【0032】
本開示の一態様に係る肌状態判定方法は、スペクトルカメラが第１の時点にユーザの肌を測定したデータを含む第１測定結果を取得する第１取得ステップと、前記第１の時点より前の互いに異なる複数の第２の時点のそれぞれにおいて、前記スペクトルカメラが前記ユーザの肌を測定したデータを含む第２測定結果を取得する第２取得ステップと、複数の前記第２測定結果を入力として、前記ユーザの肌状態の判定結果を出力するように学習された学習済みモデルに対して、前記第１測定結果を入力することで、前記第１の時点の前記ユーザの肌状態の判定結果を取得する判定ステップとを含む。
【0033】
これにより、第１の時点におけるユーザの肌状態を推定することなく、ユーザの肌状態の判定結果を取得することができる。よって、ユーザの肌状態の判定を行うための処理量を低減することができる。例えば、第１の時点における肌状態を推定する処理を省くことができる。
【0034】
前記学習済みモデルは、前記複数の第２の時点のそれぞれにおける測定条件ログを含む複数の前記第２測定結果を入力として、前記ユーザの肌状態の判定結果を出力するように学習されており、前記判定ステップでは、前記第１の時点における前記ユーザの測定条件ログを含む前記第１測定結果を入力することで、前記第１の時点の前記ユーザの肌状態の判定結果を取得してもよい。
【0035】
これにより、測定条件ログの違いが推定結果に影響を与えるような場合に、その影響を低減することができる。よって、第１の時点の測定時の測定条件ログに応じた肌状態を判定することができる。
【0036】
本開示の一態様に係る肌状態判定システムは、スペクトルカメラが第１の時点にユーザの肌を測定することで得られるデータを含む第１測定結果を取得する取得部と、前記第１測定結果に基づいて、前記ユーザの前記第１の時点における肌水分量及び隠れシミの状況の少なくとも一方を含む第１推定結果を推定する推定部と、前記第１推定結果と、前記第１の時点より前の互いに異なる複数の第２の時点のそれぞれにおいて、前記スペクトルカメラが前記ユーザの肌を測定したデータを含む第２測定結果に基づく前記ユーザの肌水分量及び隠れシミの状況の前記少なくとも一方を含む複数の第２推定結果とに基づいて、前記ユーザの肌状態の判定を行う判定部とを備える。
【0037】
これにより、上記の肌状態判定方法と同様の効果を奏する。
【0038】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭ等の非一時的記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。プログラムは、記録媒体に予め記憶されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。
【0039】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【0040】
なお、以下で説明する実施の形態及び変形例は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態及び変形例で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0041】
なお、各図は模式図であり、必ずしも厳密に図示されたものではない。各図において、実質的に同一の構成要素に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。
【0042】
本明細書において、数値は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度の差異をも含むことを意味する表現である。
【0043】
【0044】
［１.肌状態判定システムの構成］
まずは、本実施の形態に係る肌状態判定システムの構成について、図１及び図２を参照しながら説明する。図１は、本実施の形態に係る肌状態判定システム１の概略構成を示す模式図である。図２は、本実施の形態に係る肌状態判定システム１の機能構成を示すブロック図である。
まずは、本実施の形態に係る肌状態判定システムの構成について、図１及び図２を参照しながら説明する。図１は、本実施の形態に係る肌状態判定システム１の概略構成を示す模式図である。図２は、本実施の形態に係る肌状態判定システム１の機能構成を示すブロック図である。
【0045】
【0046】
情報端末１０は、ユーザＵが所持する携帯端末であり、例えば、スマートフォン、タブレット端末などである。情報端末１０は、ユーザＵの肌状態を判定するための肌のスペクトルの測定を行う。情報端末１０は、例えば、画像カメラ１１と、ハイパースペクトルカメラ１２と、制御部１３と、通信部１４と、表示部１５と、入力部１６と、記憶部１７とを有する。なお、ハイパースペクトルカメラ１２をＨＳＣ（Ｈｙｐｅｒ Ｓｐｅｃｔｒａｌ Ｃａｍｅｒａ）とも記載する場合がある。
【0047】
画像カメラ１１は、画像データを撮像する。画像カメラ１１は、例えば、顔認証用の顔画像データを撮像する。画像カメラ１１は、例えば、ユーザＵが表示部１５を見ているときに、当該ユーザの顔画像データを撮像してもよい。なお、顔画像データは、後述するサーバ装置２０におけるユーザＵの肌状態の判定結果を情報端末１０の表示部１５に表示する際に、用いられてもよい。顔画像データは、画像データの一例である。
【0048】
画像カメラ１１は、レンズ、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの受光素子、信号処理部を含む。画像カメラ１１は、例えば、レンズを介してＣＣＤ又はＣＭＯＳなどの受光センサ上に結像させて得られた赤、緑、青の３種類の画像を重ね合わせて１つの画像（カラー画像）を生成する。なお、画像カメラ１１は、モノクロ画像を生成するモノクロカメラであってもよい。
【0049】
ハイパースペクトルカメラ１２は、光の波長帯（バンド）ごとの輝度を計測することができるカメラであり、ユーザＵの肌のスペクトル及びユーザＵの周囲の環境光のスペクトルを測定する。ハイパースペクトルカメラ１２の測定データ（光スペクトルデータ）は、ユーザＵの肌状態を判定するために使用される。なお、ユーザＵの周囲の環境光は、ユーザＵが浴びている光であり、例えば、太陽光である。なお、環境光のスペクトルは、例えば、太陽光を直接測定することで取得されるが、これに限定されない。
【0050】
ハイパースペクトルカメラ１２は、例えば、２８０ｎｍ～２５００ｎｍの波長の光を測定可能なように構成されるが、４００ｎｍ～２５００ｎｍの波長の光を測定可能なように構成されていてもよい。つまり、ハイパースペクトルカメラ１２は、紫外域から短波長赤外域までを測定可能であってもよいし、可視域から短波長赤外域までを測定可能であってもよい。
【0051】
ハイパースペクトルカメラ１２は、数十バンド（例えば、１０バンド）以上のスペクトルを取得することができるカメラである。ハイパースペクトルカメラ１２は、例えば、入射した光を数十バンド以上に分光してバンドごとの画像を取得する。
【0052】
ハイパースペクトルカメラ１２は、例えば、入射した光を分光するための光学系、数十バンド以上のスペクトルを同時に取得することができるハイパースペクトルセンサ、ハイパースペクトルセンサからの電気信号に基づいて、２次元画像をバンドごとに生成する信号処理部を含む。光学系は、スリット、回折格子、レンズなどを有する。
【0053】
ハイパースペクトルカメラ１２は、例えば、ユーザＵの顔を走査しながら各位置での肌のスペクトルを測定するが、これに限定されない。ハイパースペクトルカメラ１２は、スペクトルカメラの一例である。
【0054】
なお、図１に示すように、画像カメラ１１と、ハイパースペクトルカメラ１２とは、情報端末１０の同一の面に設けられており、例えば、表示部１５と同じの面に設けられている。これにより、画像カメラ１１と、ハイパースペクトルカメラ１２とは、ユーザＵが表示部１５を見ているときに、当該ユーザＵの顔などを撮像又は測定することが可能である。画像カメラ１１とハイパースペクトルカメラ１２とは、当該面において近くに配置されてもよい。画像カメラ１１とハイパースペクトルカメラ１２とは、例えば、並んで配置されてもよい。
【0055】
制御部１３は、情報端末１０の各構成要素を制御する制御装置である。制御部１３は、画像カメラ１１を制御して、ユーザＵの顔画像データの撮像を行わせる。制御部１３は、ハイパースペクトルカメラ１２を制御して、少なくともユーザＵの肌のスペクトルの測定を行わせる。制御部１３は、例えば、ハイパースペクトルカメラ１２の動作を、画像カメラ１１の動作に関連付けて制御してもよい。制御部１３は、例えば、画像カメラ１１とハイパースペクトルカメラ１２とを同期して動作するように制御してもよい。制御部１３は、例えば、画像カメラ１１が起動しているときに、ハイパースペクトルカメラ１２を起動させ、ハイパースペクトルカメラ１２に測定を行わせてもよい。制御部１３は、例えば、画像カメラ１１が起動したことをトリガとして、ハイパースペクトルカメラ１２を起動させてもよい。制御部１３は、例えば、画像カメラ１１が停止したことをトリガとして、ハイパースペクトルカメラ１２を停止させてもよい。なお、制御部１３は、ハイパースペクトルカメラ１２からユーザＵの肌を測定することで得られる測定データを取得する取得部として機能する。
【0056】
制御部１３は、画像カメラ１１をから取得した顔画像データ、及び、ハイパースペクトルカメラ１２から取得した測定データに基づいて、各種処理を行う。制御部１３は、解析部１３ａと照合部１３ｂとを有する。
【0057】
解析部１３ａは、ハイパースペクトルカメラ１２で取得された測定データを含む第１測定結果に基づいて、当該ユーザＵの現在における肌水分量、及び、隠れシミの状況の少なくとも一方を推定する。解析部１３ａは、隠れシミの状況を推定する場合、さらに、ユーザＵが浴びている紫外線量を推定してもよい。解析部１３ａは、肌のスペクトル解析を行うとも言える。現在は、第１の時点の一例である。
【0058】
なお、隠れシミとは、目では認識することができない肌の表面下の潜在しているシミであり、いわゆるシミ予備軍のことである。隠れシミがある状態で、紫外線を多く浴びると、徐々に隠れシミが表面化していき、目に見えるシミとなる。紫外線量は、ユーザＵが浴びていると推測される紫外線の量である。なお、解析部１３ａは、推定部の一例である。
【0059】
照合部１３ｂは、画像カメラ１１で撮像されたユーザＵの顔画像データと、記憶部１７に保管されている照合用の顔画像データとを比較して、ユーザＵが予め登録されているユーザであるか否かを判定する。
【0060】
制御部１３は、例えば、解析部１３ａが推定した推定結果を、通信部１４を介して、サーバ装置２０に出力する。推定結果には、例えば、情報端末１０又はユーザＵに固有の識別情報が含まれる。
【0061】
通信部１４は、インターネット等のネットワークＮを介して、情報端末１０がサーバ装置２０と通信するための通信回路（通信モジュール）である。なお、情報端末１０とサーバ装置２０との通信方式は、特に限定されない。
【0062】
表示部１５は、制御部１３の制御により、ユーザＵに各種情報を表示する。表示部１５は、例えば、ユーザＵの肌状態の判定結果を示す情報を表示する。表示部１５は、液晶パネルによって実現されるが、有機ＥＬパネルなどのその他の表示パネルによって実現されてもよい。表示部１５は、バックライトを有していてもよい。
【0063】
なお、情報端末１０は、表示部１５に替えて、又は、表示部１５とともに音声により判定結果を示す情報をユーザＵに提示してもよい。
【0064】
入力部１６は、ユーザからの入力を受け付けるユーザインタフェースである。入力部１６は、ハードウェアキー（ハードウェアボタン）、スライドスイッチ、タッチパネルなどにより実現される。入力部１６は、例えば、音声、ジェスチャなどによりユーザＵからの入力を受け付けてもよい。
【0065】
記憶部１７は、制御部１３の処理のための各種情報を記憶する記憶装置である。記憶部１７は、例えば、照合部１３ｂの照合用に用いる顔画像データを記憶してもよい。記憶部１７は、例えば、情報端末１０に固有の識別情報、及び、ユーザＵに固有の識別情報の少なくとも一方を記憶してもよい。記憶部１７は、画像カメラ１１が撮像した顔画像データ、及び、ハイパースペクトルカメラ１２が測定した測定データの少なくとも一方を記憶してもよい。つまり、記憶部１７は、画像カメラ１１、及び、ハイパースペクトルカメラ１２から取得したデータ（生データ）を記憶してもよい。
【0066】
なお、情報端末１０には、さらに、温度及び湿度を計測するための温湿度センサ、情報端末１０の回転及び向きを計測するためのジャイロセンサ、情報端末１０の位置を取得するＧＰＳセンサなどの各種センサが搭載されていてもよい。それらのセンサの少なくとも１つは、接続端子を介して、外付けのセンサとして情報端末１０に接続されていてもよい。
【0067】
サーバ装置２０は、情報端末１０から取得した情報に基づいて、ユーザＵの肌状態を判定する。サーバ装置２０は、通信部２１と、制御部２２と、記憶部２３とを有する。
【0068】
通信部２１は、インターネット等のネットワークＮを介して、サーバ装置２０が情報端末１０と通信するための通信回路（通信モジュール）である。
【0069】
制御部２２は、サーバ装置２０の各構成要素を制御する制御装置である。制御部２２は、情報端末１０から取得した、ユーザＵの現在における肌水分量、隠れシミの状況、及び、ユーザＵが浴びている紫外線量の推定結果を、記憶部２３に記憶する。つまり、制御部２２は、ユーザＵの現在における肌水分量、隠れシミの状況、及び、紫外線量の推定結果を蓄積する。制御部２２は、これらの推定結果を、情報端末１０の識別情報、又は、ユーザＵの識別情報と対応付けて記憶部２３に蓄積する。これにより、記憶部２３には、情報端末１０又はユーザＵと対応付けられた推定結果の時系列データが記憶される。
【0070】
制御部２２は、判定部２２ａを有する。判定部２２ａは、ユーザＵの肌状態を判定する。判定部２２ａは、例えば、現在取得された推定結果（第１推定結果）と現在より前の互いに異なる複数の時点のそれぞれで取得された推定結果の時系列データ（複数の第２推定結果）とに基づいて、ユーザＵの肌状態を判定する。判定部２２ａは、例えば、現在取得された推定結果を、現在より前の互いに異なる時点のそれぞれで取得された推定結果の時系列データに基づいて判定することで、現在のユーザＵの肌状態を判定する。言い換えると、判定部２２ａは、固定の閾値を用いて、ユーザＵの肌状態を判定しない。なお、現在より前の互いに異なる複数の時点は、複数の第２時点の一例である。
【0071】
判定部２２ａは、判定結果に基づいてユーザＵに推奨する推奨行動を決定してもよい。判定部２２ａは、例えば、判定結果に肌水分量が不足していることが含まれる場合、水分補給することを推奨してもよい。判定部２２ａは、例えば、判定結果と推奨行動とが対応付けられたテーブルに基づいて、推奨行動を決定してもよい。
【0072】
記憶部２３は、制御部２２の処理のための各種情報を記憶する記憶装置である。記憶部２３は、推定結果の時系列データを記憶する。記憶部２３は、複数のユーザＵのそれぞれから取得した当該ユーザＵの推定結果を、情報端末１０ごと又はユーザＵごとに記憶する。記憶部２３は、ユーザＵの周囲の温度及び湿度の少なくとも一方とユーザＵの肌水分量との相関関係を示す情報を記憶していてもよい。記憶部２３は、ユーザＵに対応した機器であって屋内に設置されている機器に関する情報を記憶していてもよい。ユーザＵに対応した機器とは、例えば、ユーザＵの居宅又はオフィスに設置されている電気機器であり、例えば、エアコン、加湿器、除湿器、ヒーター、電動カーテンなどである。なお、記憶部２３は、例えば、半導体メモリによって実現される。
【0073】
上記のように、情報端末１０は、ユーザＵの肌のスペクトル及びユーザＵの周囲の環境光を測定するためのハイパースペクトルカメラ１２を有する。これにより、情報端末１０は、ユーザＵの肌水分量などを推定することができる。
【0074】
上記のように、サーバ装置２０は、現在におけるユーザの推定結果を、固定の閾値で判定するのではなく、過去における当該ユーザの推定結果の時系列データに基づいて判定する。これにより、サーバ装置２０は、ユーザＵごとの通常時における肌水分量、隠れシミの状況、及び、紫外線量に基づいて、当該ユーザＵの肌状態を判定することができるので、ユーザＵに応じた肌状態の判定を行うことができる。
【0075】
【0076】
図３に示すように、情報端末１０の制御部１３は、ハイパースペクトルカメラ１２（ＨＳＣ）を起動し、ユーザＵの肌及び太陽光を測定する（Ｓ１１）。これにより、ユーザＵの肌のスペクトルと、太陽光のスペクトルとを取得することができる。なお、肌の測定及び太陽光の測定は、同時に行われてもよい。つまり、１回の測定で、肌からの反射光と、太陽光とを測定してもよい。例えば、測定する時間帯、ユーザＵ及び太陽の位置、情報端末１０の姿勢に基づくハイパースペクトルカメラ１２の向きなどにより、肌からの反射光と、太陽光とを同時に測定可能である場合に、ユーザＵの肌のスペクトルと、太陽光のスペクトルとを同時に測定する。
【0077】
肌の測定及び太陽光の測定は、別々のタイミングで行われてもよい。制御部１３は、例えば、肌の測定を行ったのち、表示部１５を介してハイパースペクトルカメラ１２を太陽に向けることを示す情報を表示させ、ハイパースペクトルカメラ１２が太陽の方向を向いたことを検知すると、ハイパースペクトルカメラ１２を制御して太陽光の測定を行わせてもよい。
【0078】
制御部１３は、ハイパースペクトルカメラ１２がユーザＵの顔を走査するとき、画像カメラ１１が撮像した顔画像データに基づいて、情報端末１０に対するユーザＵの顔の領域を算出し、算出した顔の領域を走査するようにしてもよい。これにより、ユーザＵの顔の肌のスペクトルを効率的に取得することができる。制御部１３は、画像カメラ１１が撮像した顔画像データに基づいて、情報端末１０に対するユーザＵの顔の領域を算出し、算出した顔の領域以外を走査することで、太陽光の測定を行ってもよい。
【0079】
なお、ステップＳ１１は、第１取得ステップの一例である。
【0080】
次に、制御部１３の解析部１３ａは、測定データに基づいて、肌水分量、隠れシミの状況、及び、紫外線量を推定し、推定した肌水分量、隠れシミの状況、及び、紫外線量を含む推定結果をサーバ装置２０に出力する（Ｓ１２）。肌水分量、隠れシミの状況、及び、紫外線量の推定については、後述する。
【0081】
なお、解析部１３ａは、ステップＳ１２において、肌水分量及び隠れシミの状況の少なくとも一方を推定すればよい。解析部１３ａは、ステップＳ１２において、隠れシミの状況を推定した場合、さらに、紫外線量を推定してもよい。ステップＳ１２は、第１推定ステップ及び第２推定ステップの一例である。
【0082】
次に、サーバ装置２０は、情報端末１０から推定結果を取得し、取得した推定結果をユーザＵと対応付けて記憶部２３に記憶する（Ｓ２１）。
【0083】
次に、サーバ装置２０は、現在及び過去の推定結果に基づいて、ユーザＵの肌状態を判定する（Ｓ２２）。サーバ装置２０は、ユーザＵの肌状態の判定に、過去の推定結果を用いる。肌状態の判定については、後述する。ステップＳ２２は、第１判定ステップの一例である。なお、過去の推定結果は、現在の推定結果と同様、ハイパースペクトルカメラ１２でユーザＵを測定した測定データに基づいて推定される。
【0084】
次に、制御部２２は、判定部２２ａが判定したユーザＵの肌状態を示す判定結果に基づく情報（状態情報）を情報端末１０に出力する（Ｓ２３）。
【0085】
次に、情報端末１０の制御部１３は、当該情報をサーバ装置２０から取得すると、表示部１５を介して当該情報を表示させる（Ｓ１３）。ここで、表示部１５に表示される情報について、図４Ａ及び図４Ｂを参照しながら説明する。図４Ａは、本実施の形態に係る情報端末１０に表示される状態情報の第１例を示す図である。図４Ｂは、本実施の形態に係る情報端末１０に表示される状態情報の第２例を示す図である。
【0086】
図４Ａは、ユーザＵの肌水分量の判定結果に基づく情報を表示部１５が表示する例を示しており、例えば、肌が乾燥していることを示す情報が表示される。例えばユーザＵの顔の乾燥している領域を示す情報（破線枠）が表示されてもよい。このとき、制御部１３は、例えば、画像カメラ１１が撮像したユーザＵの顔画像データに乾燥している領域を示す情報が重畳して表示してもよい。さらに、判定結果に対する推奨行動が表示されていてもよい。例えば、１４時頃に水分補給することを勧めることを示す情報が表示されてもよい。なお、乾燥している領域及び推奨行動は、肌水分量の判定結果に基づく情報に含まれる。
【0087】
図４Ｂは、ユーザＵの肌の隠れシミの判定結果に基づく情報を表示部１５が表示する例を示しており、例えば、浴びた紫外線量が普段より多いので、隠れシミが増加するおそれがあることを示す情報が表示される。例えばユーザＵの顔の隠れシミがある領域を示す情報（破線枠）が表示されてもよい。このとき、制御部１３は、例えば、画像カメラ１１が撮像したユーザＵの顔画像データに隠れシミがある領域を示す情報が重畳して表示してもよい。さらに、判定結果に対する推奨行動が表示されていてもよい。例えば、室内に入ることを勧めることを示す情報が表示されてもよい。なお、隠れシミがある領域及び推奨行動は、隠れシミの状況の判定結果に基づく情報に含まれる。
【0088】
ユーザＵは、図４Ａ又は図４Ｂに示す表示を確認することで、現在の肌状態と、推奨行動とを知ることができる。なお、図４Ａ及び図４Ｂに示す表示は、同時に表示されてもよい。表示部１５に表示される情報は、少なくとも現在の肌状態の判定結果を含んでいればよい。具体的には、図４Ａの例では、肌が乾燥していることを示す情報が表示されていればよい。図４Ｂの例では、隠れシミがあることを示す情報が表示されていればよい。
【0089】
【0090】
図５に示すように、情報端末１０の制御部１３は、画像カメラ１１を起動させる（Ｓ１１１）。制御部１３は、例えば、ユーザＵにより情報端末１０に所定の操作がされたことを検知すると、画像カメラ１１を起動させる。所定の操作は、例えば、スリープ状態の情報端末１０を持ち上げたり、表示部１５をタップしたりすることであるが、これに限定されない。所定の操作は、例えば、音声による操作であってもよい。ステップＳ１１１は、第２取得ステップの一例である。
【0091】
画像カメラ１１は、起動すると、ユーザＵの顔を撮像して顔画像データを生成する。
【0092】
次に、制御部１３は、画像カメラ１１の起動に伴い、ハイパースペクトルカメラ１２（ＨＳＣ）を起動させる（Ｓ１１２）。制御部１３は、例えば、情報端末１０に上記の所定の操作がされたことを検知すると、ハイパースペクトルカメラ１２を起動させてもよい。
【0093】
ハイパースペクトルカメラ１２は、起動すると、少なくともユーザＵの肌のスペクトルを測定する。本実施の形態では、ハイパースペクトルカメラ１２は、起動すると、ユーザＵの肌のスペクトル、及び、太陽光のスペクトルを測定する。これにより、現在のユーザＵの肌を測定した測定データを取得することができる。ステップＳ１１２は、第１取得ステップの一例である。当該測定データは、第１測定結果の一例である。
【0094】
なお、ステップＳ１１２は、図３に示すステップＳ１１に相当する。
【0095】
次に、照合部１３ｂは、画像カメラ１１から顔画像データを取得すると、当該顔画像データと記憶部１７に記憶されている顔画像データとを照合する（Ｓ１１３）。照合部１３ｂは、２つの顔画像データを照合することで、ユーザＵが予め登録されているユーザであるか否かを判定する。なお、照合部１３ｂによる照合の方法は、特に限定されず既知のいかなる技術が用いられてもよい。
【0096】
次に、解析部１３ａは、ハイパースペクトルカメラ１２で測定された測定データに基づいて、ユーザＵの肌水分量を推定する（Ｓ１１４）。解析部１３ａは、例えば、複数のバンドのうち水の吸収波長を含むバンドのスペクトルに基づいて、ユーザＵの肌水分量を推定してもよい。水の吸収波長は、近赤外又は中赤外の波長であってもよく、例えば、７５０ｎｍ、９７０ｎｍ、１４５０ｎｍなどである。
【0097】
解析部１３ａは、複数のバンドのうち、水の吸収波長を含むバンドのスペクトル、及び、水の吸収が小さい波長を含むバンドのスペクトルに基づいて、ユーザＵの肌水分量を推定してもよい。水の吸収が小さい波長は、近赤外又は中赤外の波長であってもよく、例えば、８１０ｎｍ、１１６０ｎｍ、１３００ｎｍなどである。
【0098】
解析部１３ａは、肌を測定した測定データにおける水の吸収波長を含むバンドのスペクトル、及び、太陽光を測定した測定データにおける水の吸収波長を含むバンドのスペクトルに基づいて、ユーザＵの肌水分量を推定してもよい。つまり、解析部１３ａは、水の吸収波長での肌の吸光度に基づいて、ユーザＵの肌水分量を推定してもよい。この場合、肌を測定した測定データにおける水の吸収波長を含むバンドのスペクトルと、太陽光を測定した測定データにおける水の吸収波長を含むバンドのスペクトルとの差分を求めることにより、ユーザＵの肌水分による吸収量を算出してもよい。これにより、環境光による影響を除くことができ、ユーザＵの肌水分量をより精度良く推定することができる。解析部１３ａは、光スペクトルを用いて肌水分量を推定する既知のいかなる方法を用いて、ユーザＵの肌水分量を推定してもよい。
【0099】
次に、解析部１３ａは、ハイパースペクトルカメラ１２で測定された測定データに基づいて、ユーザＵの肌の隠れシミの状況を推定する（Ｓ１１５）。解析部１３ａは、例えば、複数のバンドのうち隠れシミの原因となるメラニンの吸収波長を含むバンドのスペクトルに基づいて、ユーザＵの肌の隠れシミの状況を推定してもよい。メラニンの吸収波長は、例えば、６６０ｎｍ、８８０ｎｍなどである。
【0100】
解析部１３ａは、複数のバンドのうち、メラニンの吸収波長を含むバンドのスペクトル、及び、メラニンの吸収が小さい波長を含むバンドのスペクトルに基づいて、ユーザＵの肌の隠れシミの状況を推定してもよい。解析部１３ａは、肌を測定した測定データにおけるメラニンの吸収波長を含むバンドのスペクトル、及び、太陽光を測定した測定データにおけるメラニンの吸収波長を含むバンドのスペクトルに基づいて、ユーザＵの肌の隠れシミの状況を推定してもよい。この場合、肌を測定した測定データにおけるメラニンの吸収波長を含むバンドのスペクトルと、太陽光を測定した測定データにおけるメラニンの吸収波長を含むバンドのスペクトルとの差分を求めることにより、ユーザUの肌のメラニンによる吸収量を算出してもよい。これにより、環境光による影響を除くことができ、ユーザUの隠れシミの状況をより精度良く推定することができる。解析部１３ａは、光スペクトルを用いて隠れシミの状況を推定する既知のいかなる方法を用いて、ユーザＵの隠れシミの状況を推定してもよい。なお、隠れシミの状況は、隠れシミの有無であってもよいし、隠れシミの位置であってもよいし、隠れシミの数であってもよい。
【0101】
なお、ステップＳ１１４及びＳ１１５は、少なくとも一方が行われればよい。ステップＳ１１４及びＳ１１５の少なくとも一方は、第１推定ステップの一例である。
【0102】
次に、解析部１３ａは、ハイパースペクトルカメラ１２で測定された測定データに基づいて、紫外線量を推定する（Ｓ１１６）。解析部１３ａは、例えば、複数のバンドのうち紫外線領域の波長を含むバンドのスペクトルに基づいて、ユーザＵが浴びていると推測される紫外線量を推定してもよい。紫外線領域は、例えば、２８０ｎｍ～４００ｎｍである。解析部１３ａは、肌を測定した測定データにおける紫外線領域の波長を含むバンドのスペクトル、及び、太陽光を測定した測定データにおける紫外線領域の波長を含むバンドのスペクトルに基づいて、ユーザＵの肌で吸収されたと推定される紫外線量を推定してもよい。解析部１３ａは、光スペクトルを用いて、人が浴びた又は吸収した紫外線量を推定する既知のいかなる方法を用いて、ユーザＵが浴びた又は吸収した紫外線量を推定してもよい。
【0103】
なお、ステップＳ１１６は、ステップＳ１１５が行われた場合に、実行される。ステップＳ１１６は、第２推定ステップの一例である。
【0104】
次に、制御部１３は、通信部１４を介して、推定した肌水分量、隠れシミの状況、及び、紫外線量を含む推定結果をサーバ装置２０に出力する（Ｓ１１７）。推定結果は、ユーザＵの識別情報又は情報端末１０の識別情報を含んでいてもよい。本実施の形態では、推定結果は、ユーザＵの識別情報を含む。推定結果は、さらに、ハイパースペクトルカメラ１２がユーザＵの肌を測定したときの当該ユーザＵの周囲環境に関する情報を含んでいてもよい。周囲環境は、温湿度、最高気温及び最低気温、天気情報、ユーザＵが室内外のどちらにいるか、室内にいる場合のエアコン、加湿器等の機器の設定条件などの少なくとも１つを含む。温湿度は、情報端末１０が温湿度センサを有している場合は、当該温湿度センサの計測結果であってもよいし、専用のアプリケーションを介して取得されてもよい。最高気温及び最低気温、天気情報などは、例えば、それぞれを管理するサーバ装置から取得される。ユーザＵが室内外のどちらにいるかは、情報端末１０がＧＰＳセンサを有している場合は、当該ＧＰＳセンサの取得結果であってもよいし、入力部１６を介してユーザＵから取得されてもよい。機器の設定条件は、機器を統合制御する制御装置から取得されてもよいし、機器から通信により直接取得されてもよいし、入力部１６を介してユーザＵから取得されてもよい。推定結果は、体温、心拍及び血圧などの生体情報、並びに、運動量、食生活（摂取栄養素）及び睡眠時間などの生活情報に関する情報を含んでいてもよい。生体情報は、生体センサを備えるスマートフォン又はウェアラブル端末等から取得してもよい。生活情報は、スマートフォンに含まれるアプリから取得してもよい。周囲環境を示す情報、ユーザＵの生体情報、生活情報等、推定結果に含まれる測定時の条件をまとめて「測定条件ログ」と呼ぶ。この測定条件ログを用いることにより、過去の複数時点の測定結果との相関を考慮して個人に応じた判定をすることが可能となり、判定精度の向上や学習効率向上が推定結果の精度を向上させることができる。
【0105】
なお、ステップＳ１１４～Ｓ１１７は、図３に示すステップＳ１２に相当する。
【0106】
次に、情報端末１０は、推定結果を用いてサーバ装置２０がユーザＵの肌状態を判定した判定結果に基づく状態情報を、サーバ装置２０から取得したか否かを判定する（Ｓ１１８）。情報端末１０は、状態情報をサーバ装置２０から取得した場合（Ｓ１１８でＹｅｓ）、状態情報を出力する（Ｓ１１９）。制御部１３は、取得した状態情報に含まれる肌状態の判定結果に基づく情報（例えば、破線枠）を顔画像データに重畳し、重畳された顔画像データを含む状態情報を出力してもよい。これにより、制御部１３は、図４Ａ又は図４Ｂに示すような表示を、表示部１５に行わせる。なお、判定結果に基づく情報を顔画像データに重畳した顔画像データを含む状態情報は、肌状態の判定結果を反映した状態情報の一例である。反映するとは、例えば、重畳することを含む。
【0107】
なお、制御部１３は、例えば、推定された推定結果の所定期間における経時変化を示す情報を表示してもよい。制御部１３は、例えば、推定された肌水分量の１日における経時変化を折れ線グラフ等で表示してもよい。制御部１３は、サーバ装置２０の判定部２２ａの肌状態の判定結果の経時変化を示す情報を表示してもよい。制御部１３は、例えば、現在の肌水分量が過去に推定された肌水分量の平均値より高いか否かを示す情報を表示してもよい。制御部１３がサーバ装置２０から取得した状態情報を記憶部１７に逐次記憶することで、判定結果の経時変化を示す情報を表示可能である。
【0108】
情報端末１０は、状態情報をサーバ装置２０から取得していない場合（Ｓ１１８でＮｏ）、ステップＳ１１８に戻り、状態情報を取得するまで待機する。
【0109】
なお、ステップＳ１１８及びＳ１１９は、図３に示すステップＳ１３に相当する。
【0110】
なお、ステップＳ１１４以降の処理は、照合部１３ｂによる顔画像データの照合により、ユーザＵが予め登録されているユーザであると判定された場合に実行されてもよい。つまり、現在情報端末１０を持っているユーザＵが当該情報端末１０の正規のユーザである場合に、ステップＳ１１４以降の処理が実行されてもよい。制御部１３は、ステップＳ１１３の照合結果に基づいて、ステップＳ１１４以降の処理を実行するか否かを判定してもよい。
【0111】
【0112】
図６に示すように、サーバ装置２０の制御部２２は、通信部２１を介して、肌水分量、隠れシミの状況、及び、紫外線量を含む推定結果を取得し（Ｓ１２１）、取得された推定結果を記憶部２３に記憶する（Ｓ１２２）。制御部２２は、推定結果に含まれるユーザＵの識別情報に基づいて、当該ユーザＵに対応する推定結果として記憶部２３に記憶する。制御部２２は、推定結果を取得するたびに、記憶部２３に記憶する。よって、記憶部２３には、ユーザＵの過去の推定結果の時系列データが記憶される。
【0113】
なお、ステップＳ１２１及びＳ１２２は、図３に示すステップＳ２１に相当する。
【0114】
次に、制御部２２の判定部２２ａは、現在及び過去の推定結果に基づいて、ユーザＵの肌状態を判定する（Ｓ１２３）。肌状態の判定方法の詳細は後述する。
【0115】
なお、ステップＳ１２３は、図３に示すステップＳ２２に相当する。
【0116】
次に、判定部２２ａは、判定結果に基づいて、ユーザＵに推奨される行動を決定する（Ｓ１２４）。判定部２２ａは、例えば、判定結果と推奨される行動とが対応づけられたテーブルを用いて、ユーザＵに推奨される行動を決定する。判定部２２ａは、例えば、判定結果がユーザＵの肌が乾燥していることを含む場合、水分補給する、保湿クリームを塗るなどの推奨行動を決定する。判定部２２ａは、例えば、判定結果がユーザＵの肌に隠れシミが発生していることを含む場合、屋内に入る、日焼け止めを塗るなどの推奨行動を決定する。
【0117】
次に、制御部２２は、判定結果及び推奨される行動を示す情報を含む状態情報を情報端末１０に出力する（Ｓ１２５）。状態情報は、判定結果に基づく情報の一例である。
【0118】
なお、ステップＳ１２５は、図３に示すステップＳ２３に相当する。
【0119】
【0120】
図７に示すように、判定部２２ａは、現在の推定結果（第１推定結果）、及び、過去の複数の推定結果（第２推定結果）を記憶部２３から読み出すことで取得する（Ｓ１３１）。判定部２２ａは、例えば、過去の全ての第２推定結果を取得してもよいし、同一時期の第２推定結果を取得してもよいし、現在と当該現在から所定時間前の時間との間で取得した第２推定結果を取得してもよい。同一時期は、例えば、同一季節（例えば、春季、夏季、秋季、冬季）であってもよいし、同一の月であってもよいし、現在の日の前後所定期間であってもよい。所定期間は、例えば、一週間であってもよいし、一か月であってもよい。
【0121】
次に、判定部２２ａは、読み出した複数の第２推定結果の平均値を算出する（Ｓ１３２）。推定結果が肌水分量である場合、判定部２２ａは、例えば、ステップＳ１３２において、肌水分量の平均値を算出する。推定結果が隠れシミの状況である場合、判定部２２ａは、例えば、ステップＳ１３２において、隠れシミの個数の平均値を算出する。ここで算出した平均値は、ユーザごとに異なる値となる。
【0122】
なお、判定部２２ａは、重みづけ平均により複数の第２推定結果の平均値を算出してもよい。判定部２２ａは、例えば、現在に近い時点で取得された第２推定結果の重みが高くなるように複数の第２推定結果それぞれの重みを設定してもよい。これにより、直近において、肌状態が大きく変化したことを検出しやすくなる。
【0123】
次に、判定部２２ａは、第１推定結果と平均値とに基づいて、ユーザＵの現在の肌状態を判定する（Ｓ１３３）。判定部２２ａは、第１推定結果と平均値とを比較することで、ユーザＵの現在の肌状態を判定してもよい。推定結果が肌水分量である場合、判定部２２ａは、第１推定結果が平均値より低いときに、現在、肌が乾燥していると判定する。推定結果が隠れシミの状況である場合、判定部２２ａは、第１推定結果が平均値より高いときに、現在、隠れシミが発生している又は隠れシミが増加していると判定する。
【0124】
なお、判定部２２ａによる判定方法は、上記に限定されず、過去の複数の第２推定結果を用いていれば、他の方法であってもよい。判定部２２ａは、例えば、複数の第２推定結果に基づいて、肌が乾燥していると判定する肌水分量の閾値（＜平均値）を算出し、第１推定結果が算出した閾値より低い場合に肌が乾燥していると判定してもよい。判定部２２ａは、例えば、複数の第２推定結果に基づいて、隠れシミが増加していると判定する肌水分量の閾値（＞平均値）を算出し、第１推定結果が算出した閾値より高い場合に隠れシミが増加していると判定してもよい。閾値は、例えば、平均値に所定の係数をかけることで算出されてもよいし、複数の第２推定結果のバラつきを考慮して算出されてもよい。
【0125】
判定部２２ａは、複数の第２推定結果の分布に対する第１推定結果の位置に基づいて肌状態を判定してもよい。推定結果が肌水分量である場合、判定部２２ａは、例えば、第１推定結果が複数の第２測定結果のうち、肌水分量が高い方の上位２０％、及び、肌水分量が低い方の下位２０％の間に位置している場合、肌水分量が適切であると判定し、それを外れると肌水分量が不適切であると判定してもよい。
【0126】
続いて、肌状態の判定方法の他の例について説明する。図８は、図６に示すユーザの肌状態を判定する動作（Ｓ１２３）の第２例を示すフローチャートである。図８は、推定結果に周囲環境に関する情報が含まれる場合の処理を示す。
【0127】
図８に示すように、判定部２２ａは、現在の推定結果（第１推定結果）、及び、過去の複数の推定結果（第２推定結果）を記憶部２３から読み出すことで取得する（Ｓ１４１）。ステップＳ１４１は、図７に示すステップＳ１３１と同様であり、説明を省略する。
【0128】
次に、判定部２２ａは、複数の第２推定結果の中から、現在のユーザＵの周囲環境と一致又は類似する周囲環境を含む２以上の第２推定結果を抽出する（Ｓ１４２）。判定部２２ａは、複数の第２推定結果の中から、現在のユーザＵの周囲環境と一致又は類似する周囲環境のときの２以上の第２推定結果を抽出するとも言える。判定部２２ａは、第１推定結果に含まれる周囲環境を示す情報（第１周囲環境情報）と、複数の第２推定結果のそれぞれに含まれる周囲環境を示す情報（第２周囲環境情報）とに基づいて、複数の第２推定結果の中から第２周囲環境情報が第１周囲環境情報と一致又は類似する２以上の第２推定結果を抽出する。なお、類似とは、例えば、第１周囲環境情報と第２周囲環境情報との差が所定条件を満たすことを示す。例えば、周囲環境が温度である場合を例に説明すると、所定条件は、ユーザＵの肌水分量と温度との相関関係に基づいて決定されてもよく、例えば、温度差が５度以内であることであってもよい。所定条件は、ユーザＵごとに設定されるとよい。ステップＳ１４２において、周囲環境を示す情報に限らず、ユーザＵの生体情報、生活情報等、推定結果に含まれる測定時の条件である測定条件ログの少なくとも一つの相関関係に基づいて、第２推定結果が抽出されてもよい。
【0129】
次に、判定部２２ａは、第１推定結果と抽出した２以上の第２推定結果とに基づいて、ユーザＵの肌状態を判定する。例えば、判定部２２ａは、抽出した２以上の第２推定結果の平均値を算出する（Ｓ１４３）。そして、判定部２２ａは、第１推定結果と平均値とに基づいて、ユーザＵの現在の肌状態を判定する（Ｓ１４４）。
【0130】
なお、ステップＳ１４４は、図７に示すステップＳ１３３と同様であり、説明を省略する。
【0131】
続いて、肌状態の判定方法のさらに他の例について説明する。図９は、図６に示すユーザの肌状態を判定する動作（Ｓ１２３）の第３例を示すフローチャートである。図９は、推定結果を周囲環境に応じて補正する場合の処理を示す。図９は、推定結果に周囲環境に関する情報が含まれる場合の処理の他の例を示す。具体的には、推定結果に現在のユーザＵの周囲の温度及び湿度の少なくとも一方が含まれている場合の処理の例を示す。以下では、推定結果に現在のユーザＵの周囲の温度が含まれている場合について説明する。以下において、推定結果は、肌水分量である。
【0132】
図９に示すように、判定部２２ａは、現在の推定結果（第１推定結果）、及び、過去の複数の推定結果（第２推定結果）を記憶部２３から読み出すことで取得する（Ｓ１５１）。ステップＳ１５１は、図７に示すステップＳ１３１と同様であり、説明を省略する。
【0133】
次に、判定部２２ａは、ハイパースペクトルカメラ１２の第１推定結果のための測定時の温度（周囲温度）を取得する（Ｓ１５２）。判定部２２ａは、例えば、第１推定結果に含まれる温度を、測定時の温度として取得する。
【0134】
次に、判定部２２ａは、取得された温度に基づいて、第１推定結果を補正する（Ｓ１５３）。判定部２２ａは、例えば、当該温度が基準温度と異なる場合、当該温度と基準温度とに基づいて第１推定結果を補正する。判定部２２ａは、例えば、予め記憶部２３に記憶されているユーザＵの肌水分量と温度との相関関係を示す情報と、当該温度における肌水分量とに基づいて、基準温度における肌水分量を算出する。相関関係を示す情報は、例えば、複数の温度と複数の温度それぞれにおけるユーザＵの肌水分量とに基づく線形回帰モデルを示す一次近似直線（回帰直線）であってもよい。これにより、ユーザＵ自身に応じた一次近似直線に基づいて、肌水分量を補正することができるので、より精度よく補正を行うことができる。
【0135】
次に、判定部２２ａは、補正された第１推定結果、及び、複数の第２推定結果に基づいて、ユーザＵの現在の肌状態を判定する（Ｓ１５４）。判定部２２ａは、例えば、補正された第１推定結果と複数の第２補正結果の平均値とに基づいて、ユーザＵの現在の肌状態を判定する。判定部２２ａは、補正された第１推定結果と平均値とを比較することで、ユーザＵの現在の肌状態を判定してもよい。なお、ここでの複数の第２推定結果は、上記の相関関係に基づいて、予め基準温度における水分量に補正された値である。
【0136】
続いて、肌状態の判定方法のさらに他の例について説明する。図１０は、図６に示すユーザの肌状態を判定する動作（Ｓ１２３）の第４例を示すフローチャートである。図１０は、推定結果を紫外線量に応じて補正する場合の処理を示す。図９は、推定結果に隠れシミの状況、及び、紫外線量が含まれる場合の処理を示す。具体的には、図９は、隠れシミの将来における状況を紫外線量に基づいて予測する場合の処理を示す。
【0137】
図１０に示すように、判定部２２ａは、現在の推定結果（第１推定結果）、及び、過去の複数の推定結果（第２推定結果）を記憶部２３から読み出すことで取得する（Ｓ１６１）。ステップＳ１６１は、図７に示すステップＳ１３１と同様であり、説明を省略する。
【0138】
次に、判定部２２ａは、ハイパースペクトルカメラ１２の第１推定結果のための測定時の紫外線量を取得する（Ｓ１６２）。判定部２２ａは、例えば、第１推定結果に含まれる紫外線量を、測定時の紫外線量として取得する。
【0139】
次に、判定部２２ａは、現在の隠れシミの状況と紫外線量とに基づいて、将来の隠れシミの状況を予測する（Ｓ１６３）。判定部２２ａは、現在の隠れシミの状況及び紫外線量と、将来の隠れシミの状況とが対応付けられたテーブルを用いて、将来の隠れシミの状況を予測してもよいし、現在の隠れシミの状況及び紫外線量を入力とし、将来の隠れシミの状況を出力する学習済みモデルを用いて予測してもよい。テーブルは、例えば、ユーザの過去の複数の第２推定結果と、そのときの将来におけるユーザの隠れシミの変化度合い（例えば、増減量）とに基づいて生成される。学習済みモデルは、ユーザの複数の第２推定結果及び紫外線量を訓練データとし、そのときの将来におけるユーザの隠れシミの変化量を正解データとして機械学習を用いて生成される。
【0140】
このように、判定部２２ａは、例えば、複数の第２推定結果に基づいて生成されるテーブル又は学習済みモデルを用いて、第１推定結果におけるユーザＵの肌状態を判定する。紫外線量と隠れシミの変化度合いとは、ユーザＵごとに異なる。そのため、ユーザＵごとに又は属性が類似するユーザＵごとに、上記のテーブル又は学習済みモデルが生成されるとよい。この場合、判定部２２ａは、ユーザの現在の隠れシミの状況と、ユーザＵの紫外線量及び隠れシミの変化度合いの相関関係とに基づいて、将来の隠れシミの状況を予測するとも言える。なお、属性が類似とは、例えば、同年代、性別が同じ、居住地域が同じなどである。ユーザＵの紫外線量及び隠れシミの変化度合いの相関関係を示す情報は、予め記憶部２３に記憶されている。
【0141】
なお、将来の隠れシミの状況とは、例えば、５日後に隠れシミが２０％増加するなどである。５日後は、例えば、第３の時点の一例である。
【0142】
次に、判定部２２ａは、現在の隠れシミの状況と将来の隠れシミの状況とに基づいて、ユーザＵの将来の肌状態を判定する（Ｓ１６４）。ここでは、判定部２２ａは、将来の隠れシミの状況が現在の隠れシミの状況に対してどのように変化するかを判定する。つまり、判定部２２ａは、第３の時点におけるユーザＵの肌状態を判定する。
【0143】
ただし、上記ステップの一部は実行されなくてもよい。例えば、機械学習を用いる場合は、スペクトルから推定結果を算出するステップを実行することなく、ユーザの肌状態を測定したスペクトルを、学習済みモデルを用いて分析することにより判定してもよい。判定部２２ａは、例えば、複数の第２測定結果に基づいて生成される学習済みモデルを用いて、第１測定結果におけるユーザＵの肌状態を判定する。紫外線量と隠れシミの変化度合いとは、ユーザＵごとに異なる。そのため、ユーザＵごとに又は属性が類似するユーザＵごとに、上記の学習済みモデルが生成されるとよい。この場合、判定部２２ａは、ユーザＵの現在の隠れシミの状況と、ユーザＵの紫外線量及び隠れシミの変化度合いの相関関係とに基づいて、将来の隠れシミの状況を予測するとも言える。
【0144】
このように、判定部２２ａは、複数の第２測定結果を入力として、ユーザＵの肌状態の判定結果を出力するように学習された学習済みモデルに対して、第１測定結果を入力することで、現在のユーザＵの肌状態の判定結果を取得してもよい。判定部２２ａが肌状態の判定結果を取得することは、判定ステップの一例である。
【0145】
このような学習済みモデルは、ハイパースペクトルカメラ１２で測定された測定結果（例えば、スペクトル）を訓練データとし、当該測定結果のときの肌状態を正解データとして機械学習を用いて生成される。学習済みモデルは、例えば、ニューラルネットワークを用いて、深層学習（ディープラーニング）により生成される。
【0146】
学習済みモデルは、複数の第２の時点のそれぞれにおける測定条件ログを含む複数の第２測定結果を入力として、ユーザＵの肌状態の判定結果を出力するように学習されていてもよい。判定部２２ａは、第１の時点におけるユーザの測定条件ログを含む第１測定結果を入力することで、第１の時点のユーザの肌状態の判定結果を取得してもよい。
【0147】
このような学習済みモデルは、測定条件ログを含む複数の測定結果（例えば、複数の第２測定結果）を訓練データとし、当該測定結果のときの肌状態を正解データとして機械学習を用いて生成される。
【0148】
続いて、肌が乾燥している又は隠れシミが増加するなど肌状態が悪化すると判定された場合のサーバ装置２０における屋内にある機器の制御について、図１１を参照しながら説明する。図１１は、本実施の形態に係るサーバ装置２０が屋内にある機器を制御する動作を示すフローチャートである。図１１は、例えば、図６のステップＳ１２３の判定の後に実行される。
【0149】
図１１に示すように、制御部２２は、現在ユーザＵが屋内にいるか否かを判定する（Ｓ２０１）。制御部２２は、例えば、判定部２２ａにより、肌が乾燥している又は隠れシミが増加するなど肌状態が悪化する場合、ステップＳ２０１の判定が実行される。制御部２２は、例えば、情報端末１０から取得したユーザＵの位置情報（例えば、緯度、経度、高度など）に基づいて、当該ユーザＵが屋内にいるか否かを判定する。ステップＳ２０１は、第２判定ステップの一例である。
【0150】
次に、制御部２２は、ユーザＵが屋内にいる場合（Ｓ２０１でＹｅｓ）、当該屋内にある機器の機器情報を取得し（Ｓ２０２）、取得した機器情報とユーザＵの肌状態とに基づいて、屋内にある機器の動作を制御する（Ｓ２０３）。ステップＳ２０３は、制御ステップの一例である。
【0151】
機器は、屋内に設置された電気機器であり、例えば、エアコン、加湿器、除湿器、ヒーター、電動カーテンなどである。制御部２２は、例えば、機器が加湿器であり、かつ、ユーザＵの肌が乾燥している場合、加湿器から現在の設定湿度を含む機器情報を取得する。そして、制御部２２は、当該設定湿度がユーザＵの現在の肌状態に適した値になっているか否かを判定し、当該設定湿度がユーザＵの肌状態に適した値になっていない場合、加湿器の設置湿度を高くする制御を行う。制御部２２は、現在加湿器が動作していない場合、加湿器の動作を開始させる。なお、制御部２２は、設定湿度に替えて、ユーザＵがいる空間の現在の湿度に基づいて、加湿器の設定湿度を制御してもよい。機器は、ネットワークＮを介してサーバ装置２０と通信可能に接続されている。
【0152】
以上のように、本実施の形態に係る判定部２２ａは、ハイパースペクトルカメラ１２で測定されたスペクトルに基づくユーザＵの現在の肌状態を、現在の推定結果と過去の複数の推定結果とを用いて判定する。これにより、ユーザＵの肌の性質に応じた判定を行うことができるので、ユーザＵの肌状態をより精度よく判定することができる。
【0153】
なお、上記実施の形態におけるユーザの肌状態は、肌水分量及び隠れシミの状況の少なくとも一方を含む例について説明したが、これに限定されない。ユーザの肌状態は、例えば、常在菌の量、化粧落ち又は日焼け止め落ち、化粧品のクレンジング状態、塩分量（例えば、汗の塩分量）、歯又は舌の状態、ニキビなどの炎症の状況、クマの状況、鼻毛の飛び出しなどの身だしなみの状況などの少なくとも１つであってもよい。
【0154】
常在菌の量は、例えば、常在菌の吸収波長を含むバンドのスペクトルに基づいて、推定される。常在菌は、皮膚常在菌であり、例えば、プロピオニバクテリウムアクネスなどである。常在菌の吸収波長は、例えば、５４０ｎｍである。サーバ装置２０は、現在の常在菌の量と過去の複数（複数時点）の常在菌の量とに基づいて、常在菌が増加しているか否かを判定することができる。推奨行動として、顔を洗うか否かを推奨することができる。
【0155】
サーバ装置２０は、現在の化粧又は日焼け止めの状態と、過去の化粧又は日焼け止めの状態（例えば、化粧した直後の状態）とに基づいて、化粧落ち又は日焼け止め落ち、化粧品のクレンジング状態を判定することができる。推奨行動として、化粧直しのタイミング、日焼け止めの再塗布、クレンジングの再実施などを推奨することができる。
【0156】
サーバ装置２０は、歯の汚れ、磨き残し、舌のなどの状態により、ユーザの健康状態を推定してもよい。サーバ装置２０は、ニキビなどの炎症又は腫れの状況を判定してもよい。サーバ装置２０は、クマの種類に応じて、睡眠状態、栄養状態、などを判定してもよい。サーバ装置２０は、鼻毛を検出すると、鼻毛が出ていると判定してもよい。
【0157】
（他の実施の形態）
以上、本開示の１つまたは複数の態様に係る肌状態判定方法等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の１つまたは複数の態様の範囲内に含まれてもよい。
以上、本開示の１つまたは複数の態様に係る肌状態判定方法等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の１つまたは複数の態様の範囲内に含まれてもよい。
【0158】
例えば、上記実施の形態では、情報端末は、ハイパースペクトルカメラを有する例について説明したが、これに限定されない。情報端末は、ハイパースペクトルカメラに替えて、マルチスペクトルカメラ又はウルトラスペクトルカメラを有していてもよい。ここで、マルチスペクトルカメラは、最大１０バンド程度のスペクトルを取得することができるスペクトルカメラであり、ウルトラスペクトルカメラは、１０００以上のバンドのスペクトルを取得することができるスペクトルカメラである。情報端末がマルチスペクトルカメラ又はウルトラスペクトルカメラを有する場合であっても、本願の効果が奏されることに変わりはない。マルチスペクトルカメラ及びウルトラスペクトルカメラは、スペクトルカメラの一例である。
【0159】
上記実施の形態等では、情報端末の制御部は、画像カメラの起動に伴い、ハイパースペクトルカメラを起動させる例について説明したが、これに限定されない。ハイパースペクトルカメラは、画像カメラの起動に関係なく制御されてもよい。制御部は、例えば、所定の時間間隔又は所定の時刻にハイパースペクトルカメラを起動させてもよいし、ユーザによる入力部への入力に応じてハイパースペクトルカメラを起動させてもよい。
【0160】
上記実施の形態では、水分量及び隠れシミの状況は、ユーザの顔を測定して得られる場合について説明したが、これに限定されない。水分量及び隠れシミの状況は、ユーザの顔以外の肌を測定して得られてもよい。水分量及び隠れシミの状況は、例えば、ユーザの首、手などを測定して得られてもよい。
【0161】
上記実施の形態における情報端末は、例えば、肌水分量を測定するための光源を有していてもよい。当該光源は、例えば、近赤外又は中赤外の水の吸収波長を含む光を肌に照射し、ハイパースペクトルカメラは、当該肌で反射され戻ってくる光の光量を測定してもよい。
【0162】
上記実施の形態では、情報端末は、可視光又は近赤外光の波長の光を用いて、隠れシミの状況を推定する例について説明したが、これに限定されない。情報端末は、近紫外光の波長の光を用いて、隠れシミの状況を推定してもよい。
【0163】
上記実施の形態では、情報端末は、画像カメラと同一の面にハイパースペクトルカメラが設けられる例について説明したが、さらに当該面と反対側の面にもハイパースペクトルカメラが設けられてもよい。図１２は、その他の実施の形態に係る情報端末１１０の構成を示す図である。図１２に示すように、情報端末１１０は、例えば、画像カメラ１１と、ハイパースペクトルカメラ１２及び１１３とを有する。ハイパースペクトルカメラ１１３は、画像カメラ１１及びハイパースペクトルカメラ１２が設けられる情報端末１０の面と反対側の面に設けられている。これにより、例えば、ユーザＵの肌のスペクトルは、ハイパースペクトルカメラ１２で測定することができ、太陽光のスペクトルは、ハイパースペクトルカメラ１１３で測定することができる。ハイパースペクトルカメラ１１３は、例えば、情報端末１０の向き及び太陽の位置に応じて、太陽光を測定可能なときに起動しされてもよい。
【0164】
フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。上記ステップの一部が他のステップと同時（並列）に実行されてもよいし、上記ステップの一部は実行されなくてもよい。
【0165】
ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【0166】
肌状態判定システムは、１つの装置により実現されてもよい。情報端末及びサーバ装置のそれぞれは、単一の装置によって実現される例について説明したが、複数の装置によって実現されてもよい。例えば、情報端末が複数の装置によって実現される場合、当該情報端末が有する各構成要素は、複数の装置にどのように振り分けられてもよい。例えば、サーバ装置が複数の装置によって実現される場合、当該サーバ装置が有する各構成要素は、複数の装置にどのように振り分けられてもよい。肌状態判定システムが備える各構成要素は、肌状態判定システムが備える装置にどのように振り分けられてもよい。例えば、情報端末が有する構成要素の少なくとも１つは、サーバ装置が有していてもよい。例えば、サーバ装置が解析部を有していてもよい。
【0167】
上記実施の形態における肌状態判定システムが備える装置間の通信方法は、特に限定されず、無線通信であってもよいし、有線通信であってもよい。装置間では、無線通信および有線通信が組み合わされてもよい。
【0168】
上記実施の形態における肌状態判定システムが備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。
【0169】
システムＬＳＩは、複数の処理部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【0170】
本開示の一態様は、肌状態判定方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。例えば、プログラムは、コンピュータに実行させるためのプログラムであってもよい。本開示の一態様は、そのようなプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。例えば、そのようなプログラムを記録媒体に記録して頒布又は流通させてもよい。例えば、頒布されたプログラムを、他のプロセッサを有する装置にインストールして、そのプログラムをそのプロセッサに実行させることで、その装置に、上記各処理を行わせることが可能となる。
【産業上の利用可能性】
【0171】
本開示は、ユーザの肌状態を判定する装置等に広く利用可能である。
【符号の説明】
【0172】
１ 肌状態判定システム
１０、１１０ 情報端末
１１ 画像カメラ
１２、１１３ ハイパースペクトルカメラ
１３ 制御部（取得部）
１３ａ 解析部（推定部）
１３ｂ 照合部
１４ 通信部
１５ 表示部
１６ 入力部
１７、２３ 記憶部
２０ サーバ装置
２１ 通信部
２２ 制御部
２２ａ 判定部
Ｎ ネットワーク
Ｕ ユーザ
１０、１１０ 情報端末
１１ 画像カメラ
１２、１１３ ハイパースペクトルカメラ
１３ 制御部（取得部）
１３ａ 解析部（推定部）
１３ｂ 照合部
１４ 通信部
１５ 表示部
１６ 入力部
１７、２３ 記憶部
２０ サーバ装置
２１ 通信部
２２ 制御部
２２ａ 判定部
Ｎ ネットワーク
Ｕ ユーザ
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】