特許 6343612 肌分析方法、肌分析装置および肌分析装置の制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6343612

(24)【登録日】2018年5月25日

(45)【発行日】2018年6月13日

(54)【発明の名称】肌分析方法、肌分析装置および肌分析装置の制御方法

(51)【国際特許分類】

   A61B 5/107 20060101AFI20180604BHJP

   A61B 5/00 20060101ALI20180604BHJP

【ＦＩ】

   A61B5/10 300Q

   A61B5/00 MZDM

【請求項の数】17

【全頁数】27

(21)【出願番号】特願2015-529388(P2015-529388)

(86)(22)【出願日】2014年7月28日

(86)【国際出願番号】JP2014003959

(87)【国際公開番号】WO2015015793

(87)【国際公開日】20150205

【審査請求日】2017年2月7日

(31)【優先権主張番号】特願2013-158815(P2013-158815)

(32)【優先日】2013年7月31日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】514136668

【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ

【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100101683

【弁理士】

【氏名又は名称】奥田 誠司

(74)【代理人】

【識別番号】100155000

【弁理士】

【氏名又は名称】喜多 修市

(74)【代理人】

【識別番号】100180529

【弁理士】

【氏名又は名称】梶谷 美道

(74)【代理人】

【識別番号】100125922

【弁理士】

【氏名又は名称】三宅 章子

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部 英隆

(74)【代理人】

【識別番号】100188813

【弁理士】

【氏名又は名称】川喜田 徹

(74)【代理人】

【識別番号】100184985

【弁理士】

【氏名又は名称】田中 悠

(74)【代理人】

【識別番号】100202197

【弁理士】

【氏名又は名称】村瀬 成康

(72)【発明者】

【氏名】新井 稔也

(72)【発明者】

【氏名】池田 雅子

(72)【発明者】

【氏名】内田 真司

【審査官】 遠藤 直恵

(56)【参考文献】

【文献】 国際公開第２０１３／０４２４３６（ＷＯ，Ａ１）

【文献】 特開２００９−００３８４２（ＪＰ，Ａ）

【文献】 特表２００７−５３３３９１（ＪＰ，Ａ）

【文献】 国際公開第２０１２／００１２８９（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／１０

Ａ６１Ｂ ５／００

(57)【特許請求の範囲】

【請求項1】

被験者の顔画像を取得するカメラ、前記被験者の顔画像を表示するディスプレイおよびコンピュータを備えた肌分析装置を制御する制御方法であって、
前記肌分析装置の前記コンピュータに、
前記被験者の顔画像を取得させ、
前記顔画像上の位置に基づいて、前記顔画像の複数の肌領域におけるターゲットの抽出基準をそれぞれ決定させ、
前記決定された抽出基準を満たす前記ターゲットを前記顔画像から抽出させ、
前記抽出したターゲットを前記肌分析装置のディスプレイに表示させ、
前記取得した顔画像に含まれる顔部位に対する前記顔画像上における相対位置に応じて、前記複数の肌領域の１つにおけるターゲットの複数の前記抽出基準を前記ディスプレイに選択可能に表示させ、
前記複数の抽出基準のうちの１つが選択されたと判断された場合に、前記選択された１つの抽出基準を満たす前記ターゲットを抽出させ、
前記抽出したターゲットを前記ディスプレイに表示させる、制御方法。

【請求項2】

前記取得した顔画像に含まれる顔部位を検出させ、
前記検出した顔部位に対する前記顔画像上における相対位置に基づいて、前記複数の肌領域を決定させ、
決定した前記複数の肌領域における前記ターゲットの抽出基準を決定させる請求項１に記載の制御方法。

【請求項3】

前記ターゲットは皮溝および／または被毛である、請求項１または２に記載の制御方法。

【請求項4】

前記抽出基準は前記ターゲットの角度、太さ、長さのうち少なくとも一つを示す値である、請求項３に記載の制御方法。

【請求項5】

前記抽出したターゲットは、前記顔画像に重畳して前記ディスプレイに表示される、請求項１から４のいずれかに記載の制御方法。

【請求項6】

フィルタリング処理によって前記決定された抽出基準を満たす前記ターゲットを抽出させ、
前記抽出基準は前記フィルタリング処理に用いるフィルタの性質である、請求項１から５のいずれかに記載の制御方法。

【請求項7】

前記顔部位と前記複数の肌領域との相対位置に対応させて記憶された所定の抽出基準に基づいて、前記ターゲットを抽出させる、請求項２に記載の制御方法。

【請求項8】

前記所定の抽出基準は、前記肌分析装置のメモリに記憶されている、請求項７に記載の制御方法。

【請求項9】

前記所定の抽出基準は、ネットワークを介して前記肌分析装置からアクセス可能なサーバに記憶されている、請求項７に記載の制御方法。

【請求項10】

被験者の顔画像を取得し、
前記顔画像上の位置に基づいて、前記顔画像の複数の肌領域におけるターゲットの抽出基準をそれぞれ決定し、
前記決定された抽出基準を満たす前記ターゲットを前記顔画像から抽出し、
前記抽出したターゲットをディスプレイに表示し、
前記取得した顔画像に含まれる顔部位を検出し、
前記検出した顔部位に対する前記顔画像上における相対位置に基づいて、前記複数の肌領域を決定し、
決定した前記複数の肌領域における前記ターゲットの抽出基準を決定し、
前記相対位置に応じて前記複数の肌領域の１つにおけるターゲットの複数の前記抽出基準を前記ディスプレイに選択可能に表示し、
前記複数の抽出基準のうちの１つが選択されたと判断した場合に、前記１つの抽出基準を満たす前記ターゲットを抽出し、
前記抽出したターゲットを前記ディスプレイに表示する、肌分析方法。

【請求項11】

前記ターゲットは皮溝および／または被毛である、請求項１０に記載の肌分析方法。

【請求項12】

前記抽出基準は前記ターゲットの角度、太さ、長さのいずれかを示す値である、請求項１１に記載の肌分析方法。

【請求項13】

フィルタリング処理によって前記決定された抽出基準を満たす前記ターゲットを抽出し、
前記抽出基準は前記フィルタリング処理に用いるフィルタの性質である、請求項１０または１２に記載の肌分析方法。

【請求項14】

被験者の顔画像を取得するカメラ、前記被験者の画像を表示するディスプレイおよびコンピュータを備えた肌分析装置を制御するコンピュータプログラムであって、
前記肌分析装置のコンピュータに、
前記被験者の顔画像を取得させ、
前記顔画像上の位置に基づいて、前記顔画像の複数の肌領域におけるターゲットの抽出基準をそれぞれ決定させ、
前記決定された抽出基準を満たす前記ターゲットを前記顔画像から抽出させ、
前記抽出したターゲットを前記肌分析装置のディスプレイに表示させ、
前記取得した顔画像に含まれる顔部位に対する前記顔画像上における相対位置に応じて、前記複数の肌領域の１つにおけるターゲットの複数の前記抽出基準を前記ディスプレイに選択可能に表示させ、
前記複数の抽出基準のうちの１つが選択されたと判断された場合に、前記選択された１つの抽出基準を満たす前記ターゲットを抽出させ、
前記抽出したターゲットを前記ディスプレイに表示させる、コンピュータプログラム。

【請求項15】

被験者の顔画像を取得するカメラと、
前記顔画像上の位置に基づいて、前記顔画像の複数の肌領域におけるターゲットの抽出基準をそれぞれ決定する抽出基準決定部と、
決定された抽出基準を満たす前記ターゲットを前記顔画像から抽出するターゲット抽出部と、
前記抽出されたターゲットを表示するディスプレイと、
を備え、
前記ディスプレイは、前記取得した顔画像に含まれる顔部位に対する前記顔画像上における相対位置に応じて、前記複数の肌領域の１つにおけるターゲットの複数の前記抽出基準を選択可能に表示し、
前記ターゲット抽出部は、前記複数の抽出基準のうちの１つが選択されたと判断された場合に、前記選択された１つの抽出基準を満たす前記ターゲットを抽出し、
前記ディスプレイは前記抽出したターゲットを表示する、肌分析装置。

【請求項16】

前記顔画像に含まれる顔部位を検出し、検出した顔部位に対する前記顔画像上における相対位置に基づいて、前記複数の肌領域を決定する顔検出部をさらに備える請求項１５に記載の肌分析装置。

【請求項17】

前記複数の肌領域のそれぞれに関する複数の抽出基準をディスプレイに表示し、１つの選択を受け付ける抽出基準選択部と、
複数の肌領域毎に抽出されたターゲットをスコア化する抽出結果評価部と、
前記抽出基準選択部における選択結果および前記スコアを外部のサーバに送信する通信部と
をさらに備える、請求項１６に記載の肌分析装置。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、肌分析方法、肌分析装置および肌分析装置の制御方法に関する。

【背景技術】

【0002】

従来、肌を撮影した画像に基づき、肌の状態を分析し、分析結果を可視化および定量化することが行われている。このためには、肌画像に基づいて、肌表面に存在する分析対象を抽出する必要がある。

【0003】

特許文献１は、得られた肌画像に対して十字二値化処理及び／又は短直線マッチング処理を含む画像処理を行うことでキメ及び／又はシワの抽出を行う技術を開示している。

【0004】

特許文献２は、撮像された画像の輝度値のばらつきが所定値以上になるように各画素の輝度値を変換し、各画素を二値化し、二値化された黒画素と所定の短直線とをマッチングすることで、皮溝を抽出する技術を開示している。

【0005】

非特許文献１は、肌のエッジ方向を局所特徴に基づいて予め定め、予め定められた方位を持つＧａｂｏｒフィルタを用いてフィルタリング処理を行うことで、シワを抽出する技術を開示している。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】国際公開第０９／１４２０６９号

【特許文献2】特許第４９０９６８６号

【非特許文献】

【0007】

【非特許文献1】Ｃｕｌａ ｅｔ ａｌ．， “Ａｓｓｅｓｓｉｎｇ ｆａｃｉａｌ ｗｒｉｎｋｌｅｓ： ａｕｔｏｍａｔｉｃ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｑｕａｎｔｉｆｉｃａｔｉｏｎ”， Ｓｋｉｎ Ｒｅｓｅａｒｃｈ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ ２０１３

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかし、肌表面を分析するためには煩雑な操作または大がかりな装置が必要であり、任意の顔画像に基づき分析するためには、さらなる検討が必要とされていた。

【課題を解決するための手段】

【0009】

本願に開示された肌分析装置を制御する制御方法は、被験者の顔画像を取得するカメラ、前記被験者の顔画像を表示するディスプレイおよびコンピュータを備えた肌分析装置を制御する制御方法であって、前記肌分析装置の前記コンピュータに、前記被験者の顔画像を取得させ、前記顔画像上の位置に基づいて、前記顔画像の複数の肌領域におけるターゲットの抽出基準をそれぞれ決定させ、前記決定された抽出基準を満たす前記ターゲットを前記顔画像から抽出させ、前記抽出したターゲットを前記肌分析装置のディスプレイに表示させる。

【発明の効果】

【0010】

本願に開示された肌分析方法および肌分析装置によれば、ユーザの要求に合わせた任意の肌シワ検出を、顔全体に対して自動で実行することが可能となる。

【図面の簡単な説明】

【0011】

【図1】肌の内部の構造を模式的に示す図である。

【図2】本開示の実施の形態１における肌分析装置の全体像を示す図である。

【図3】（ａ）は、制御装置３０２の構成を示す図であり、（ｂ）は、クラウドサーバ３０７の構成を示す図である。

【図4】本開示の実施の形態１における肌分析装置の機能ブロック図である。

【図5】本開示の実施の形態１において、肌分析装置によって、肌の評価を行う手順を示すフローチャートである。

【図6】（ａ）は、肌分析前にディスプレイに表示される表示画面例の一例を示す図である。（ｂ）は、画像の撮像時にディスプレイに表示される表示画面の一例を示す図である。

【図7】（ａ）、（ｂ）、（ｃ）は、それぞれ画像上の位置に基づいてターゲット特徴を決定し抽出する途中経過を模式的に示す図である。

【図8】（ａ）、（ｂ）は、それぞれ肌分析後にディスプレイに表示される表示画面の一例を示す図である。

【図9】（ａ）、（ｂ）は、それぞれディスプレイに表示される表示画面の一例を示す図である。

【図10】（ａ）、（ｂ）は、それぞれディスプレイに表示される表示画面の一例を示す図である。

【図11】本開示の実施の形態２における、肌分析装置の機能ブロック図である。

【図12】本開示の実施の形態２において、肌分析装置によって、肌の評価を行う手順を示すフローチャートである。

【図13】（ａ）、（ｂ）、（ｃ）は、それぞれ顔の特徴点に基づいてターゲット特徴を決定し抽出する途中経過を、模式的に示す図である。

【図14】本開示の実施の形態３における、肌分析装置の全体像を示す図である。

【図15】本開示の実施の形態３における、クラウドサーバおよび肌分析装置の構成を示す図である。

【図16】本開示の実施の形態３における、クラウドサーバおよび肌分析装置の機能ブロック図である。

【図17】本開示の実施の形態３において、肌分析装置によって、肌の評価を行う手順を示すフローチャートである。

【図18】（ａ）は、実施の形態４における情報提供システムの全体像であり、（ｂ）および（ｃ）は、データセンタの構成を示している。

【図19】サービスの類型１（自社データセンタ型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。

【図20】サービスの類型２（ＩａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。

【図21】サービスの類型３（ＰａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。

【図22】サービスの類型４（ＳａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。

【発明を実施するための形態】

【0012】

（本発明の基礎となった知見）
非特許文献１に開示されている技術は、Ｇａｂｏｒフィルタを用いてユーザの肌画像におけるシワ（皮溝）を抽出し、抽出されたシワに基づいて肌状態を評価している。ここでＧａｂｏｒフィルタは、特定の方位を決定し、決定された方位に向かって刻まれているシワを抽出する。

【0013】

しかし、非特許文献１に開示されている技術では、顔画像から所定部分を切り出し、切り出した画像について評価を行う。この画像の切り出しは専門家が行うため、ユーザ自身が気軽に顔画像から肌状態の評価を行うことが出来なかった。また、非特許文献１に開示されている技術では、ユーザの肌のどの方向へ顕著にシワ（皮溝）が刻まれているかという画像の局所的な特徴から、Ｇａｂｏｒフィルタの方位を決定している。そのため、例えば、顔画像においてユーザが小鼻のシワの評価を所望する場合であっても、顔画像から顕著なほうれい線が検出されるなど、検出されるシワの種類とユーザが評価を所望するシワの種類とが一致しないという課題があった。

【0014】

特に、肌状態を評価する顔画像上の位置に応じて、ユーザ毎に異なる種類のシワを評価したいというニーズを満たすための技術的な解決策に関しては、検討されていなかった。

【0015】

本願発明者は、このような課題に鑑み新規な、肌分析方法、肌分析装置および肌分析装置の制御方法を想到した。本願の肌分析方法、肌分析装置および肌分析装置の制御方法の概要は以下の通りである。

【0016】

本願に開示された肌分析装置を制御する制御方法の一態様は、被験者の顔画像を取得するカメラ、前記被験者の顔画像を表示するディスプレイおよびコンピュータを備えた肌分析装置を制御する制御方法であって、前記肌分析装置の前記コンピュータに、前記被験者の顔画像を取得させ、前記顔画像上の位置に基づいて、前記顔画像の複数の肌領域におけるターゲットの抽出基準をそれぞれ決定させ、前記決定された抽出基準を満たす前記ターゲットを前記顔画像から抽出させ、前記抽出したターゲットを前記肌分析装置のディスプレイに表示させる。

【0017】

本態様では、肌分析装置のコンピュータに、顔画像上の位置に基づいて、顔画像の複数の肌領域におけるターゲットの抽出基準をそれぞれ決定させる。そのため、ターゲットを抽出するという肌領域の分析のために、専門家のオペレーション（顔画像の切り出し）が不要となり、ユーザが顔画像を用意するだけで肌領域の分析および評価が可能となる。

【0018】

またコンピュータに、前記取得した顔画像に含まれる顔部位を検出させ、前記検出した顔部位に対する前記顔画像上における相対位置に基づいて、前記複数の肌領域を決定させ、決定した前記複数の肌領域における前記ターゲットの抽出基準を決定させる。つまり、顔画像内のどの位置にある肌領域であるかに基づいて、ターゲットの抽出基準を決定する。そのため、例えば、顔画像における目元のターゲットと、口まわりにおけるターゲットとで抽出基準を変えるなど、肌領域の場所ごとに異なる抽出基準にてターゲットを抽出することができる。

【0019】

上記態様において、例えば、前記相対位置に応じて前記複数の肌領域の１つにおけるターゲットの複数の抽出基準を前記ディスプレイに選択可能に表示させ、前記複数の抽出基準のうちの１つが選択されたと判断された場合に、前記選択された１つの抽出基準を満たす前記ターゲットを抽出させ、前記抽出したターゲットを前記ディスプレイに表示させてもよい。

【0020】

上記態様により、肌状態を評価する顔画像上の肌領域の位置に応じて、ユーザ毎に異なる種類のシワを評価できる。

【0021】

また、例えば、顔画像においてユーザが小鼻のシワの評価を所望する場合であっても、顔画像から顕著なほうれい線が検出されるなど、検出されるシワの種類とユーザが評価を所望するシワの種類とが一致しないということがない。

【0022】

上記態様において、例えば、前記ターゲットは皮溝および／または被毛であってもよい。

【0023】

上記態様において、例えば、前記抽出基準は前記ターゲットの角度、太さ、長さのうち少なくとも一つを示す値であってもよい。

【0024】

上記態様において、例えば、前記顔部位との相対位置は、眉間、目の下、目尻、目頭、鼻側面、口元および額のいずれかであってもよく、またはその組み合わせであってもよい。

【0025】

上記態様において、例えば、前記抽出したターゲットは、前記顔画像に重畳して前記ディスプレイに表示されてもよい。

【0026】

上記態様において、例えば、フィルタリング処理によって前記決定された抽出基準を満たす前記ターゲットを抽出させ、前記抽出基準は前記フィルタリング処理に用いるフィルタの性質であってもよい。

【0027】

上記態様において、例えば、前記顔部位と前記複数の肌領域との相対位置に対応させて記憶された所定の抽出基準に基づいて、前記ターゲットを抽出させるとしてもよい。

【0028】

上記態様において、例えば、前記所定の抽出基準は、前記肌分析装置のメモリに記憶されてもよい。

【0029】

上記態様において、例えば、前記所定の抽出基準は、ネットワークを介して前記肌分析装置からアクセス可能なサーバに記憶されていてもよい。

【0030】

上記態様において、例えば、前記複数の抽出基準のうちの１つが選択された回数が、ネットワークを介して前記肌分析装置からアクセス可能なサーバに記憶され、前記所定の抽出基準は、選択された頻度に基づいて決定されてもよい。

【0031】

また、本願に開示された肌評価方法の一態様は、被験者の顔画像を取得し、前記顔画像上の位置に基づいて、前記顔画像の複数の肌領域におけるターゲットの抽出基準をそれぞれ決定し、前記決定された抽出基準を満たす前記ターゲットを前記顔画像から抽出し、前記抽出したターゲットをディスプレイに表示する。

【0032】

上記態様において、例えば、前記相対位置に応じて前記複数の肌領域の１つにおけるターゲットの複数の抽出基準を前記ディスプレイに選択可能に表示し、前記複数の抽出基準のうちの１つが選択されたと判断した場合に、前記１つの抽出基準を満たす前記ターゲットを抽出し、前記抽出したターゲットを前記ディスプレイに表示させるとしてもよい。

【0033】

上記態様において、例えば、前記ターゲットは皮溝および／または被毛であってもよい。

【0034】

上記態様において、例えば、前記抽出基準は前記ターゲットの角度、太さ、長さのいずれかを示す値であってもよい。

【0035】

上記態様において、例えば、前記顔部位との相対位置は、眉間、目の下、目尻、目頭、鼻側面、口元および額のいずれかであってもよく、またはその組み合わせであってもよい。

【0036】

上記態様において、例えば、フィルタリング処理によって前記決定された抽出基準を満たす前記ターゲットを抽出し、前記抽出基準は前記フィルタリング処理に用いるフィルタの性質であってもよい。

【0037】

本願に開示された肌分析装置を制御するコンピュータプログラムの一態様は、被験者の顔画像を取得するカメラ、前記被験者の画像を表示するディスプレイおよびコンピュータを備えた肌分析装置を制御するコンピュータプログラムであって、前記肌分析装置のコンピュータに、前記被験者の顔画像を取得させ、前記顔画像上の位置に基づいて、前記顔画像の複数の肌領域におけるターゲットの抽出基準をそれぞれ決定させ、前記決定された抽出基準を満たす前記ターゲットを前記顔画像から抽出させ、前記抽出したターゲットを前記肌分析装置のディスプレイに表示させる。

【0038】

これにより、例えば決まったガイドにあわせて撮影された顔画像において、画像内の位置に応じて違った肌状態を抽出することを可能にする。

【0039】

また、上記態様において、前記取得した顔画像に含まれる顔部位を検出させ、前記検出した顔部位に対する前記顔画像上における相対位置に基づいて、前記複数の肌領域を決定させ、決定した前記複数の肌領域における前記ターゲットの抽出基準を決定させる。これにより、ユーザが特に位置を気にせずに撮影した顔画像においても、画像内に含まれる顔部位の位置に応じて違った肌状態を抽出することを可能にする。

【0040】

また、抽出基準は、顔部位との相対位置に応じて予め定められている、更新可能なデータベースに基づいて、決定さる。これにより肌分析装置の多くのユーザが所望する肌状態の傾向に基づいて、抽出することを可能にする。

【0041】

また、画像内の位置に応じてユーザが選択した抽出基準に基づいて、ターゲットを抽出する。これにより、現在操作しているユーザが所望する肌状態を抽出することを可能にする。

【0042】

従って本願の上記実施態様によれば、ユーザの要求に合わせた任意の肌シワ検出を、顔全体に対して自動で実行することが可能となる。

【0043】

本願に開示された肌分析装置の一態様は、被験者の顔画像を取得するカメラと、前記顔画像上の位置に基づいて、前記顔画像の複数の肌領域におけるターゲットの抽出基準をそれぞれ決定する抽出基準決定部と、決定された抽出基準を満たす前記ターゲットを前記顔画像から抽出するターゲット抽出部と、前記抽出されたターゲットを表示するディスプレイとを備える。

【0044】

上記態様において、肌分析装置は、前記顔画像に含まれる顔部位を検出し、検出した顔部位に対する前記顔画像上における相対位置に基づいて、前記複数の肌領域を決定する顔検出部をさらに備える。

【0045】

上記態様において、肌分析装置は、前記複数の肌領域のそれぞれに関する複数の抽出基準をディスプレイに表示し、１つの選択を受け付ける抽出基準選択部と、複数の肌領域毎に抽出されたターゲットをスコア化する抽出結果評価部と、前記抽出基準選択部における選択結果および前記スコアを外部のサーバに送信する通信部とをさらに備える。

【0046】

以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることも出来る。

【0047】

（実施の形態１）
以下、図面を参照しながら、本実施の形態に係る肌分析装置およびその制御方法を説明する。本願明細書の各実施の形態の肌分析装置は、被験者の顔を撮影し、肌領域に存在する皮溝および被毛を抽出して表示する。皮溝は、ほうれい線を含む種々の長さ、太さおよび深さのシワ（皺）をいう。また、被毛は、眉毛、まつ毛、口ひげおよびあごひげを含む。皮溝および被毛を合わせてターゲットと呼ぶ。肌領域は、上述した被毛に覆われる部分を含む肌全体から選ばれる一部である。

【0048】

まず、被験者の顔を撮影し、肌領域に存在する皮溝および被毛を精度よく抽出するための撮影方法を説明する。図１は、人肌の断面を模式的に示している。肌画像には肌のシミ、シワ、毛穴、ほうれい線などの種々の情報が含まれる。図１に示すように肌２００は、肌２００の表面２００Ｓから内部に向かって０．０６ｍｍ以上０．２ｍｍ程度の深さの範囲にある表皮２００Ａ、これよりも内部に存在する真皮２００Ｂを含む。肌のシミ、シワ、毛穴は、肌における形状およびこれらが肌２００中に存在する深さ位置が異なる。したがって、肌の異なる深さからの画像を得て、形状による識別を行えば、皮溝を選択的に抽出することができる。

【0049】

肌の異なる深さからの画像の情報は、偏光光や色成分を用いることによって得られる。たとえば、所定の方向に平行な直線偏光光を光源として肌を撮影した場合、直線偏光光は、肌の表面２００Ｓにおいて偏光方向が維持されて反射する。一方、表皮２００Ａの内部で反射した直線偏光光は、散乱によって偏光方向が乱れて表皮２００Ａから出射する。このため、直線偏光光を出射する光源を用い、光源と平行な偏光光を検出すれば（平行偏光条件）、肌の表面の情報が多く内部の情報が少ない画像を得ることができる。また、直線偏光光を出射する光源を用い、光源と直交する偏光光を検出すれば（直交偏光条件）、肌の内部の情報が多く、表面の情報が少ない画像を得ることができる。つまり、偏光光を光源として用いることにより、肌の内部の情報や表面の情報を選択的に含む画像を得ることができる。

【0050】

また、光源からの光は、波長が長いほど表皮２００Ａの内部にまで入射し、内部で反射する。したがって、肌を撮影した画像のうち、青色（Ｂ）成分は、肌の表面の情報をより多く含み、赤色（Ｒ）や赤外成分は表皮２００Ａの内部の情報をより多く含む。

【0051】

また、ターゲットである皮溝は、特定の波長領域の光を吸収しやすい等の性質を有する場合がある。このような場合には、その特定の波長領域の光の成分を利用することによって、皮溝を精度よく抽出することができる。

【0052】

シワは、肌２００の表面２００Ｓ近傍に存在する。表面の情報をより多く得ることができる平行偏光の条件で撮影を行い、画像の各画素における青と赤との画素値の差分を求めると、肌表面における光の反射による影響を抑制し、シワの情報を多く含む画像を得ることができる。また、Ｇａｂｏｒフィルタなどの線検出フィルタを用いて画像を処理することによって、シワおよびほうれい線の情報を多く含む画像を得ることができる。シワとほうれい線とを精度よく区別したい場合には、検出した部分の長さ、太さなどによる閾値処理をさらに行ってもよい。

【0053】

なお、シワの情報を多く含む画像を得るために、ここでは青と赤との画素値の差分を求めることを述べたが、青の画素値のみを求めてもよく、また例えば、緑など他の色の画素値を用いてもよく、青と赤との画素値の差分を求めることのみに限定されない。

【0054】

眉毛、まつ毛、口ひげ、あごひげは、一般的に肌よりも彩度および色度が低い。このため、撮影した画像から画像処理によって、眉毛、まつ毛、口ひげ、あごひげを抽出することができる。

【0055】

図２は、本実施の形態に係る肌分析装置３０５の全体像を示す図である。肌分析装置３０５は、カメラ３００と、照明装置３０１と、制御装置３０２と、ディスプレイ３０３とを備える。ここで、ディスプレイ３０３は、タッチパネルを備えていることが好ましく、ディスプレイ３０３に表示されるボタンをユーザが指などで触れることによって肌分析装置３０５を操作可能としてもよい。

【0056】

カメラ３００から入力された被験者であるユーザ３０４の顔画像は、制御装置３０２によって取得され、クラウドサーバ３０７で評価される。その後、肌状態または肌状態を定量評価された指標が、ディスプレイ３０３に提示される。

【0057】

図３（ａ）は、制御装置３０２の構成を示す図である。制御装置３０２は、マイクロコンピュータ３０２Ａと、メモリ３０２Ｂと、通信部３０２Ｃとを備える。マイクロコンピュータ３０２Ａは、以下に説明する動作を含む肌分析装置３０５全体の動作を制御する。また、マイクロコンピュータ３０２Ａは、画像処理等の以下に説明する各種処理を実行する。例えば、肌分析装置３０５の各動作を制御するためのコンピュータプログラムはメモリ３０２Ｂに記憶されている。マイクロコンピュータ３０２Ａは、この記憶されたコンピュータプログラムに従って、カメラ３００、照明装置３０１などの肌分析装置３０５の各構成要素の動作を制御したり、画像処理等の各種処理を実行したりする。

【0058】

カメラ３００は、ユーザ３０４の顔を撮像し、顔画像データを取得する。上述したように、ユーザの顔画像からターゲットとなるシワ、被毛などを正確に抽出するために、照明装置３０１およびカメラ３００に偏光フィルタが設けられており、偏光画像が取得されてもよい。なお、肌分析装置３０５は、照明装置３０１を含んでいなくても良い。

【0059】

図３（ｂ）は、クラウドサーバ３０７の構成を示す図である。クラウドサーバ３０７は、マイクロコンピュータ３０７Ａと、メモリ３０７Ｂと、通信部３０７Ｃと、データベース３０７Ｄとを備える。クラウドサーバ３０７は、通信部３０７Ｃを介して、撮像された画像、画像の特徴指標、肌の評価値などを複数の肌分析装置３０５から受け取る。クラウドサーバ３０７は、複数の肌分析装置３０５から受け取った各データを記憶し、統計データを生成したり、データ同士の相関関係を求めたりする。また、通信部３０７Ｃを介して、それら統計データや相関関係を各肌分析装置３０５に送信する。

【0060】

なお、ユーザ３０４の顔画像の画像処理等の各種処理は、クラウドサーバ３０７で行われてもよい。また、ユーザ３０４の顔画像の評価は、制御装置３０２で行われてもよい。

【0061】

図４は、本実施の形態における肌分析装置３０５の構成を示すブロック図である。肌分析装置３０５は、カメラ３００、画像取得部１１０２、抽出基準決定部１１０３、ターゲット抽出部１１０４およびディスプレイ３０３を備える。なお、図示しない通信部を用いてクラウドサーバ３０７と通信してもよく、顔画像の評価自体はクラウドサーバ３０７で処理されてもよい。また、評価結果をクラウドサーバ３０７で記憶してもよい。

【0062】

以下、図面を参照して、本発明の肌分析装置３０５の動作について説明をする。

【0063】

本実施の形態における肌分析装置３０５は、ユーザ３０４が肌分析装置３０５に備えられたカメラ３００の前に位置した状態で、動作を開始する。

【0064】

まず、カメラ３００がユーザ３０４の顔を撮影し、顔画像を取得する。画像取得部１１０２は、カメラ３００から顔画像データを受け取り、左右を反転させた顔画像データを生成する。生成した顔画像データはディスプレイ３０３に出力され、ディスプレイ３０３は、左右が反転した顔画像を表示する。これは電子ミラーとしての機能である。

【0065】

ユーザは、ディスプレイ３０３に表示される顔画像を見て、ディスプレイ３０３上での顔画像の位置を調整する。ディスプレイ３０３のほぼ中央に自分の顔画像が表示されていない場合、顔画像が大きすぎるあるいは小さすぎる場合には、ディスプレイ３０３において、顔画像が適切な大きさおよび位置に表示されるように、カメラ３００に対して顔の位置を移動させる。ユーザが顔の位置を調整しやすいように、ディスプレイ３０３に好ましい顔の位置を示すガイドマーカーを表示させてもよい。ユーザの撮像開始指示により、肌分析装置３０５は、撮影した顔画像の分析動作を開始する。

【0066】

図５は、肌分析装置３０５の動作フローを示すフローチャートである。

【0067】

（Ｓ１２０１）
制御装置３０２はカメラ３００を動作させ、カメラ３００にユーザの顔を撮影させる。画像取得部１１０２は、カメラ３００から、ユーザの顔画像データを受け取り、左右が反転した顔画像を生成する。このとき照明装置３０１を動作させ、照明条件下でユーザの顔画像を撮像することが好ましい。上述したように、抽出すべきターゲットの種類に応じて、偏光条件および使用する光の波長を選択する。ターゲットが皮溝および被毛である場合には、表面の情報をより多く得ることができる平行偏光の条件で撮影を行い、画像の各画素における青と赤との画素値の差分を求めることによって、皮溝や被毛の情報を多く含む画像を得ることができる。

【0068】

（Ｓ１２０２）
抽出基準決定部１１０３は、左右が反転した顔画像データを画像取得部１１０２から受け取り、顔画像上の位置に基づきターゲットの抽出基準を決定する。ここで、ターゲットの抽出基準とは、以下において詳細に説明するように、ターゲットの特徴を示す値である。

【0069】

（Ｓ１２０３）
ターゲット抽出部１１０４は、Ｓ１２０２で決定されたターゲットの抽出基準に基づいて、ユーザの顔画像からターゲットを抽出する。

【0070】

（Ｓ１２０４）
ディスプレイ３０３は、Ｓ１２０３にて抽出されたターゲットを表示する。このとき、表示されるターゲットは、ユーザの顔画像に重畳して表示されることが好ましい。

【0071】

以下、ディスプレイ３０３に示される例示的な画像を参照しながら、肌分析装置３０５の動作をより詳細に説明する。図６（ａ）は、ユーザの顔画像撮像前に肌分析装置３０５のディスプレイ３０３に表示される初期画面の一例を示している。ディスプレイ３０３の表示領域は、例えば、面積が大きいメイン画面７０とメイン画面７０の下側に位置し、面積が小さいサブ画面７２を含む。初期画面では、カメラ３００から入力される画像がメイン画面７０にリアルタイムで表示され、デジタルミラーとして機能している。サブ画面７２には、例えば、時計や天気予報などの情報が表示されてもよい。

【0072】

図６（ｂ）は、撮像開始直前の画面を示している。上述したようにディスプレイ３０３の表面にはタッチパネルが設けられており、タッチパネルをユーザが指などで触れることによって、サブ画面７２の上部８０および左側部７８に操作メニューや機能の切り替えメニューが表示される。メイン画面７０には、例えば、ユーザの顔の位置を誘導するためのガイド３５が示されてもよい。また、撮影のタイミングを示すマークやカウントダウンの数字７４などが示されていてもよい。

【0073】

また、例えば、サブ画面７２の右側７２Ｒにはカメラ３００から入力されるユーザの顔画像３１がリアルタイムで表示され、左側７２Ｌにカレンダーが表示される。カレンダーにはたとえば、過去に肌分析装置３０５を用いて撮影を行ったことを示すマークなどが示されていてもよい。図６（ｂ）に示す表示のあと、上述したようにユーザの顔画像の撮像が行われる。

【0074】

以下に、ユーザの顔画像からターゲットの抽出基準を決定する方法及び決定された抽出基準に基づいてターゲットを抽出する方法を記載する。

【0075】

図７（ａ）から（ｃ）は、ユーザの顔画像上の位置に基づいて、肌状態を抽出するターゲットの特徴を決定し、決定されたターゲットの特徴に基づいてターゲットを抽出する処理の途中経過を模式的に示した図である。顔画像上の位置に基づいてターゲットの抽出基準を決定するために、本実施の形態では、顔画像を４分割し、各象限ごとに抽出基準を決める。図７（ａ）は、ユーザの顔画像を４分割した状態が示されており、図７（ｂ）には画像の第３象限および第４象限においてそれぞれターゲットの抽出基準が決定された場合の、ターゲット特徴が模式的に線分で示されている。ここで示される抽出基準は、ターゲットであるシワおよび被毛の向きを示している。図７（ｃ）には、前記決定されたターゲット特徴に基づいて顔画像から抽出されたシワが、模式的に示されている。

【0076】

ターゲット抽出基準決定ステップＳ１２０２では、画像取得部１１０２が取得したユーザの顔画像が、抽出基準決定部１１０３に出力される。ターゲットの抽出基準は、図７（ａ）、（ｂ）で例示されるように、画像上の位置に基づいて決定される。抽出基準は、ターゲットの角度、太さ、長さ（サイズ）のうち少なくとも一つを示す値である。例えば、図７（ｂ）に示す例では、顔画像上において上下および左右に４分割された４つの象限のうち、第１および第２の象限には抽出基準が設けられていない。第３及び第４象限には、抽出基準としてターゲットの角度が設けられている。より具体的には、第１象限と第４象限との境界を基準として、第３象限には４５度の角度基準が設けられ、第４象限には、−４５度（１３５度）の角度基準が設けられる。この場合、例えば、設定した角度基準に対して±１０度の範囲で抽出基準が決定される。

【0077】

ターゲット抽出ステップＳ１２０３では、画像取得部１１０２が取得したユーザの顔画像と、抽出基準決定部１１０３によって決定された抽出基準とが、ターゲット抽出部１１０４に出力される。ターゲット抽出部は、ユーザの顔画像とターゲットの抽出基準に基づいて、ターゲットが抽出される。具体的には、顔画像のうち、第１および第２象限には抽出基準が設けられていないため、抽出基準を満たすターゲットは抽出されない。一方第３および第４象限においては、上述の抽出基準を満たすシワが抽出される。よって、図７（ｃ）で示されるように、例えば、ほうれい線および目の下のほうれい線と同じ方向に伸びるシワが抽出される。

【0078】

皮溝など線形状のターゲットを顔画像から抽出する場合、ターゲットの抽出基準の１つである方向が一致しないと、正しくターゲットを抽出することができない。例えば、顔画像の第３象限に位置するほうれい線と第４象限にあるほうれい線とは、方向が異なるため、一方の抽出に適した抽出条件を用いた場合、他方は正しく抽出できない可能性がある。本実施の形態によれば、顔画像上の位置に基づいて、顔画像の複数の肌領域におけるターゲットの抽出基準を決定するため、２つのほうれい線を含む異なる方向のシワを正しく抽出することができる。

【0079】

図７（ｃ）に示す例では、目の下のシワおよびほうれい線が抽出されるが、抽出条件として、ターゲットの太さも設定してもよい。この場合、いずれか一方を選択的に抽出することも可能である。

【0080】

ターゲットの抽出は、特許文献１、２に開示されているパターンマッチングを用いる方法、非特許文献１に開示されているＧａｂｏｒフィルタを用いる方法、Ｈｏｕｇｈ変換を用いる方法等により行うことができる。また、Ｓｏｂｅｌフィルタを用いてもよく、他の線分抽出方法やフィルタを用いてもよい。

【0081】

例えばＧａｂｏｒフィルタを用いる場合には、上述した第３象限および第４象限に設定される角度基準に基づき、フィルタのｘ方向空間周波数、ｙ方向空間周波数やフィルタサイズ等のパラメータが決定される。

【0082】

抽出結果表示ステップＳ１２０４では、画像取得部１１０２が取得したユーザの顔画像と、ターゲット抽出部１１０４が抽出したターゲットの抽出結果が、ディスプレイ１１０５に出力される。ディスプレイ１１０５は図８（ａ）および図８（ｂ）で例示されるような結果画面をディスプレイ３０３に表示する。

【0083】

図８（ａ）で示す表示例では、メイン画面７０にターゲットであるシワの抽出に使用されたユーザの顔画像が表示されるとともに、顔画像に重畳して抽出されたターゲット８１が表示される。また、サブ画面７２の左側７２Ｌにもユーザの顔画像が示される。サブ画面７２の上部８０には、顔の位置を指定するメニューが表示され、左側部７８には表示する内容や機能を切り替えるメニューが表示される。ユーザは、例えば、サブ画面７２の上部８０および左側部７８に触れることによって、顔の特定の肌領域を表示させたり、表示する内容を変更したりできる。

【0084】

図８（ｂ）は、サブ画面７２の右側７２Ｒに、ユーザの指定した領域８３である肌領域の画像の一部が、拡大されて表示されている例を示している。ターゲットであるシワも右側７２Ｒに表示されている。ターゲットの表示は、例えば、肌領域におけるターゲットに該当する部分を赤色の領域（線）で表示してもよい。

【0085】

尚、抽出したターゲットを表示するだけでなく、抽出したターゲットを評価し、結果を提示してもよい。例えば、上述の手順によって顔画像からターゲットを抽出した場合、図８（ａ）のサブ画面７２の右側７２Ｒのように、ターゲットについて算出された評価結果が、例えばレーダーチャートによって示される。例えば、ターゲットであるシワの密度を求め、評価した結果を表示してもよい。

【0086】

また、抽出したターゲットについての情報およびレーダーチャートで示されたスコアの履歴が、制御装置３０２またはクラウドサーバ３０７に保存されてもよい。これにより、ユーザは評価結果の履歴をいつでも参照することができ、継時的なケアに役立てることが可能になる。

【0087】

たとえば、図９（ａ）に示すように、サブ画面７２にカレンダーを表示してもよい。カレンダーには、日付毎に評価が行われたか否かを示す情報が表示されている。例えば、ユーザがカレンダーの日付を選択すると、図９（ｂ）の表示例に示すような過去の評価結果をディスプレイ３０３に表示させる。このとき、メイン画面７０には、選択された日付において評価を行ったユーザの顔画像が抽出されたターゲットとともに表示され、サブ画面７２には、カレンダーとともに抽出したターゲットをスコア化したものがレーダーチャートとして表示される。

【0088】

また、評価結果及び履歴に基づいて、個人の肌状態に最適化されたケアに関するアドバイス情報や推奨されるケア用品および化粧品を提示してもよい。図１０（ａ）に示すように、評価結果に基づく肌の手入れ等の美容に関するアドバイスを表示してもよい。また、図１０（ｂ）に示すように、肌状態を改善するために有用な化粧品や美容機器の情報を詳細に表示してもよい。

【0089】

（実施の形態２）
本実施の形態では、顔画像に含まれる顔部位を検出し、検出した顔部位に対する相対位置に基づいて肌領域を決定し、ターゲットの抽出基準を設定する。

【0090】

図１１は、本実施の形態における肌分析装置３０５の構成を示すブロック図である。実施の形態１における構成に加えて、顔検出部１４０１を備えている。顔検出部１４０１は、ユーザの顔画像における目、鼻、口、輪郭などの顔部位を検出し、検出した顔部位との相対位置に基づき、顔画像の複数の肌領域の座標を決定する。

【0091】

図１２は、本実施の形態における肌分析装置３０５の動作フローを示すフローチャートである。実施の形態１における動作フローに加えて、顔検出ステップＳ１５０１を有する。

【0092】

図１３は、顔検出位置に基づいてターゲット特徴を決定する場合の模式図を示す。図１３（ａ）は、ユーザの顔画像から目、鼻、口、輪郭などの顔部位が検出された状態を示している。こうした顔部位の検出は、公知のデジタルカメラ等に使用される顔認証技術を利用することができる。図１３（ｂ）は、検出された顔部位との相対位置関係に基づいて、肌領域毎にターゲットの抽出基準が決定されている様子を示している。顔部位との相対位置関係に基づき定められる肌領域は、例えば、眉間、目の下、目尻、目頭、鼻側面、口元および額のいずれかであってもよい。また、これらの組み合わせであってもよい。

【0093】

ここでは、例えば、Ｇａｂｏｒフィルタを用いてターゲットを抽出する場合の、Ｇａｂｏｒフィルタの方位を示している。例えば、肌領域Ａにおいて顔の縦方向にＧａｂｏｒフィルタの方位が設定されており、この方位に沿ったターゲットが抽出される。同様に、肌領域Ｂにおいては左下がりの斜め方向に方位が設定されており、肌領域Ｃにおいては、顔の横方向に方位が設定されている。それぞれ、設定された方位に沿ったターゲットが抽出される。図１３（ｃ）は、決定されたターゲット特徴に基づいて抽出されたターゲット（シワ）が、模式的に示されている。

【0094】

図１２を用いて、本実施の形態における肌分析装置３０５の動作フローを説明する。

【0095】

（Ｓ１２０１）
制御装置３０２はカメラ３００を動作させ、カメラ３００にユーザの顔を撮影させる。画像取得部１１０２は、カメラ３００から、ユーザの顔画像データを受け取り、左右が反転した顔画像を生成する。このとき照明装置３０１を動作させ、照明条件下でユーザの顔画像を取得することが好ましい。実施の形態１と同様、ターゲットが皮溝および被毛である場合には、表面の情報をより多く得ることができる平行偏光の条件で撮影を行い、画像の各画素における青と赤との画素値の差分を求めることによって、皮溝や被毛の情報を多く含む画像を得ることができる。

【0096】

（Ｓ１５０１）
顔検出部１４０１は、ユーザの顔画像における目、鼻、口、輪郭などの顔部位を検出する。また、検出した顔部位との相対位置に基づき、顔画像の複数の肌領域の座標を決定する。

【0097】

（Ｓ１２０２）
抽出基準決定部１１０３は、左右が反転した顔画像データを画像取得部１１０２から受け取り、複数の肌領域におけるターゲットの抽出基準を決定する。

【0098】

（Ｓ１２０３）ターゲット抽出部１１０４は、Ｓ１２０２で決定されたターゲットの抽出基準に基づいて、ユーザの顔画像からターゲットを抽出する。

【0099】

（Ｓ１２０４）
ディスプレイ３０３は、Ｓ１２０３にて抽出されたターゲットを表示する。このとき、表示されるターゲットは、ユーザの顔画像に重畳して表示されることが好ましい。

【0100】

本実施の形態によれば、ユーザの顔の位置がカメラに対して多少ずれていても、正確に顔画像におけるターゲットを抽出することができる。また、図１３（ｂ）に示されているように、肌領域ごとに抽出基準を異ならせることにより、肌領域Ａである眉間においては縦ジワを抽出し、肌領域Ｂである鼻の横においてはでほうれい線を抽出する、といった区別が可能となる。

【0101】

なお、肌領域毎に複数の抽出基準がユーザに提示されてもよく、ユーザは肌領域毎にそれぞれ抽出基準を選択してもよい。ユーザが選択したターゲットの抽出基準に基づいて、ターゲットが抽出される。ここで、ユーザに提示される複数の抽出基準は、顔検出ステップＳ１５０１において検出された顔部位との相対位置に基づいて決定された肌領域ごとに提示される。例えば、ほうれい線付近の肌領域では、ほうれい線に沿った方向（画像斜め方向）をＧａｂｏｒフィルタの方位とするターゲット特徴と、鼻の小皺を抽出可能な方向をＧａｂｏｒフィルタの方位とするターゲット特徴とが提示されてもよい。

【0102】

（実施の形態３）
本実施の形態では、ユーザの選択に基づき、抽出基準を変化させ、選択履歴と抽出されたターゲットによる肌の評価結果に基づいてクラウドサーバ上のデータベースを更新することで、選択方法と肌の評価方法を変更させる。

【0103】

図１４は、本実施の形態における肌分析装置の全体像を示す図である。実施の形態１とは、クラウドサーバ１１１の構成が異なる。

【0104】

図１５は、制御装置３０２及びクラウドサーバ１１１の構成を示す図である。制御装置３０２は、メモリ１８０１、演算部１８０２および通信部１８０３を備える。クラウドサーバ１１１は、データベース１８１１、メモリ１８１２、演算部１８１３および通信部１８１４を備える。

【0105】

図１６は、本実施形態における、肌分析装置３０５およびクラウドサーバ１１１の構成を示すブロック図である。肌分析装置３０５は、実施の形態１および２の構成に加えて、抽出基準選択部１９０１、抽出結果評価部１９０２および通信部１８０３を備える。また、クラウドサーバ１１１は、ユーザ選択データベース１９１１および評価結果データベース１９１２を備える。

【0106】

ユーザ選択データベース１９１１は、ユーザの選択結果を蓄積し、評価結果データベース１９１２は抽出したターゲットに基づく肌状態の評価結果を蓄積する。

【0107】

図１７は、本実施の形態における、肌分析装置３０５の動作フローを示すフローチャートである。

【0108】

（Ｓ２００１）
ユーザ選択データベース１９１１にて更新された選択項目が、クラウドサーバ１１１側の通信部１８１４から肌分析装置３０５の通信部１８０３に送信され、抽出基準選択部１９０１の選択項目が更新される。

【0109】

（Ｓ１２０１）
制御装置３０２はカメラ３００を動作させ、カメラ３００にユーザの顔を撮影させる。画像取得部１１０２は、カメラ３００から、ユーザの顔画像データを受け取り、左右が反転した顔画像を生成する。このとき照明装置３０１を動作させ、照明条件下でユーザの顔画像を取得することが好ましい。実施の形態１と同様、ターゲットが皮溝および被毛である場合には、表面の情報をより多く得ることができる平行偏光の条件で撮影を行い、画像の各画素における青と赤との画素値の差分を求めることによって、皮溝や被毛の情報を多く含む画像を得ることができる。

【0110】

（Ｓ１５０１）
顔検出部１４０１は、ユーザの顔画像における目、鼻、口、輪郭などの顔部位を検出する。また、検出した顔部位との相対位置に基づき、顔画像の複数の肌領域の座標を決定する。

【0111】

（Ｓ２００２）
抽出基準選択部１９０１に蓄積されている複数の肌領域のそれぞれに関する複数の抽出基準である選択項目がディスプレイ３０３に提示される。提示された選択項目に基づいて、分割された複数の肌領域のそれぞれについて、抽出基準をユーザに選択させる。このとき、ユーザに対しては複数の肌領域のそれぞれについて、ディスプレイ３０３に表示した複数の選択肢の中から抽出基準を選択させることが好ましい。

【0112】

（Ｓ１２０２）
抽出基準決定部１１０３は、左右が反転した顔画像データを画像取得部１１０２から受け取り、複数の肌領域におけるターゲットの抽出基準を決定する。

【0113】

（Ｓ１２０３）
ターゲット抽出部１１０４は、Ｓ１２０２で決定されたターゲットの抽出基準に基づいて、ユーザの顔画像からターゲットを抽出する。

【0114】

（Ｓ２００３）
抽出結果評価部１９０２が、複数の肌領域毎に抽出されたターゲットについてスコア化する。以下にスコアｓ１の計算方法を示す。選択された部位の範囲内での抽出された平均値ａ１と、所定のスコア化係数ｂ１、ｃ１を用いて下式で算出される。ａ１の算出には、例えば抽出されたシワの位置に対応する画素の輝度値を用いる。

【数1】

【0115】

（Ｓ１２０４）
ディスプレイ３０３は、Ｓ１２０３にて抽出されたターゲットを表示する。このとき、表示されるターゲットは、ユーザの顔画像に重畳して表示されることが好ましい。また、抽出結果評価ステップＳ２００３において算出されたスコアをディスプレイ３０３に表示してもよい。

【0116】

（Ｓ２００４）
ターゲット選択ステップにおけるユーザの選択結果が、抽出基準選択部１９０１から肌分析装置３０５の通信部１８０３を介してクラウドサーバ１１１に送信され、クラウドサーバ１１１の通信部１８１４がこれを受信する。また、スコアｓ１が、抽出結果評価部１９０２から肌分析装置３０５の通信部１８０３を介してクラウドサーバ１１１に送信され、クラウドサーバ１１１側の通信部１８１４がこれを受信する。

【0117】

クラウドサーバ１１１は、複数の肌分析装置３０５から受け取ったユーザの抽出基準の選択結果をユーザ選択データベース１９１１に蓄積する。また、蓄積した多数のユーザの選択結果の傾向に基づいて、ターゲットの抽出基準の選択項目を更新する。さらに、複数の肌分析装置３０５から受け取ったユーザのスコアｓ１とユーザの選択結果に基づき、分析範囲、抽出基準およびスコアｓ１を、評価結果データベース１９１２に蓄積し、多数のユーザの評価結果に基づいて、各分析範囲におけるターゲット特徴の評価結果の平均ｂ２および評価結果の分散ｃ２を算出する。

【0118】

データ受信ステップ２００１では、ユーザ選択データベース１９１１に基づいて更新された選択項目が、クラウドサーバ１１１側の通信部１８１４から肌分析装置３０５の通信部１８０３に送信され、抽出基準選択部１９０１の選択項目が更新される。さらに、評価結果データベース１９１２に基づいて更新された評価結果の平均ｂ２および評価結果の分散ｃ２が、クラウドサーバ１１１の通信部１８１４から肌分析装置３０５の通信部１８０３に送信され、評価結果の平均ｂ２および評価結果の分散ｃ２に基づいて、抽出結果評価部のスコア化係数ｂ１、ｃ１が更新される。

【0119】

上記方法により変化させる対象は、抽出基準の選択項目および評価結果の平均及び分散に限定されるものではなく、例えばアドバイス、リコメンドなどが挙げられる。また、選択項目および評価結果の平均及び分析などの係数を更新するために、すべてのユーザによるデータに基づいてもよいし、ユーザの属性に応じて一部のデータに基づいてもよいし、１人のユーザのみのデータに基づいてもよい。

【0120】

また、肌領域ごとの複数の抽出基準のうちの一の抽出基準が選択された回数が、ネットワークを介して肌分析装置３０５からクラウドサーバ１１１へ送信され、ユーザ選択データベース１９１１に記憶されてもよい。クラウドサーバ１１１は、複数の肌分析装置３０５がこのデータを受け取ることにより、各抽出基準が選択された回数の合計を求め、選択回数が多い抽出基準を各肌分析装置３０５へ送信してもよい。これにより肌分析装置３０５は、選択された頻度に基づいて決定される抽出基準を、選択肢としてユーザに提示することができる。

【0121】

（実施の形態４）
実施の形態１から３で説明した肌分析装置およびにクラウドサーバを含む情報管理システムによるサービスの全体像を説明する。

【0122】

図１８（ａ）は、本実施の形態における情報管理システムが提供するサービスの全体像を示す図である。情報管理システムは、グループ１００、データセンタ運営会社１１０及びサービスプロバイダ１２０を備える。

【0123】

グループ１００は、例えば企業、団体又は家庭等であり、その規模を問わない。グループ１００は、第１の機器及び第２の機器を含む複数の機器１０１およびホームゲートウェイ１０２を備える。複数の機器１０１は、インターネットと接続可能な機器（例えば、スマートフォン、パーソナルコンピュータ（ＰＣ）又はテレビ等）、及びそれ自身ではインターネットと接続不可能な機器（例えば、照明、洗濯機又は冷蔵庫等）を含む。複数の機器１０１は、それ自身ではインターネットと接続不可能であっても、ホームゲートウェイ１０２を介してインターネットと接続可能となる機器を含んでもよい。また、ユーザ１０は、グループ１００内の複数の機器１０１を使用する。機器１０１は、実施の形態１から３の肌分析装置３０５を含む。

【0124】

データセンタ運営会社１１０は、クラウドサーバ１１１を備える。クラウドサーバ１１１は、インターネットを介して様々な機器と連携する仮想化サーバである。クラウドサーバ１１１は、主に通常のデータベース管理ツール等で扱うことが困難な巨大なデータ（ビッグデータ）等を管理する。データセンタ運営会社１１０は、データの管理、クラウドサーバ１１１の管理、及びそれらを行うデータセンタの運営等を行っている。データセンタ運営会社１１０が行っている役務の詳細については後述する。

【0125】

ここで、データセンタ運営会社１１０は、データの管理又はクラウドサーバ１１１の管理のみを行っている会社に限らない。例えば、図１８（ｂ）に示すように、複数の機器１０１のうちの一つの機器を開発又は製造している機器メーカが、データの管理又はクラウドサーバ１１１の管理等を行っている場合は、機器メーカがデータセンタ運営会社１１０に該当する。また、データセンタ運営会社１１０は一つの会社に限らない。例えば、図１８（ｃ）に示すように、機器メーカ及び管理会社が共同又は分担してデータの管理又はクラウドサーバ１１１の管理を行っている場合は、両者又はいずれか一方がデータセンタ運営会社１１０に該当する。

【0126】

サービスプロバイダ１２０は、サーバ１２１を備える。ここで言うサーバ１２１とは、その規模は問わず、例えば、個人用ＰＣ内のメモリ等も含む。また、サービスプロバイダ１２０がサーバ１２１を備えていない場合もある。

【0127】

なお、上記の情報管理システムにおいて、ホームゲートウェイ１０２は必須ではない。例えば、クラウドサーバ１１１が全てのデータ管理を行っている場合等は、ホームゲートウェイ１０２は不要となる。また、家庭内の全ての機器がインターネットに接続されている場合のように、それ自身ではインターネットと接続不可能な機器は存在しない場合もある。

【0128】

次に、上記の情報管理システムにおける情報の流れを説明する。

【0129】

まず、グループ１００の第１の機器又は第２の機器は、各ログ情報をデータセンタ運営会社１１０のクラウドサーバ１１１にそれぞれ送信する。クラウドサーバ１１１は、第１の機器又は第２の機器のログ情報を集積する（図１８（ａ）の矢印１３１）。ここで、ログ情報とは、複数の機器１０１の例えば運転状況又は動作日時等を示す情報である。例えば、ログ情報は、テレビの視聴履歴、レコーダーの録画予約情報、洗濯機の運転日時、洗濯物の量、冷蔵庫の開閉日時、又は冷蔵庫の開閉回数などを含む。また、複数の機器１０１が、実施の形態１から３で説明した肌分析装置３０５である場合、肌分析装置３０５を動作日時に加え、実施の形態１から３で説明した抽出基準などの情報を含む。また、これらの情報に限らず、種々の機器から取得が可能な種々の情報を含んでもよい。なお、ログ情報は、インターネットを介して複数の機器１０１自体から直接クラウドサーバ１１１に提供されてもよい。また、ログ情報は、複数の機器１０１から一旦ホームゲートウェイ１０２に集積され、ホームゲートウェイ１０２からクラウドサーバ１１１に提供されてもよい。

【0130】

次に、データセンタ運営会社１１０のクラウドサーバ１１１は、集積したログ情報を一定の単位でサービスプロバイダ１２０に提供する。ここで、一定の単位とは、データセンタ運営会社１１０が集積した情報を整理してサービスプロバイダ１２０に提供することの出来る単位でもよいし、サービスプロバイダ１２０が要求する単位でもよい。また、一定の単位で提供するとしているが、一定の単位でなくてもよく、状況に応じて提供する情報量が変化してもよい。ログ情報は、必要に応じてサービスプロバイダ１２０が保有するサーバ１２１に保存される（図１８（ａ）の矢印１３２）。

【0131】

そして、サービスプロバイダ１２０は、ログ情報をユーザに提供するサービスに適合する情報に整理し、ユーザに提供する。情報が提供されるユーザは、複数の機器１０１を使用するユーザ１０でもよいし、外部のユーザ２０でもよい。ユーザ１０、２０への情報提供方法としては、例えば、サービスプロバイダ１２０から直接ユーザ１０、２０へ情報が提供されてもよい（図１８（ａ）の矢印１３３、１３４）。また、ユーザ１０への情報提供方法としては、例えば、データセンタ運営会社１１０のクラウドサーバ１１１を再度経由して、ユーザ１０に情報が提供されてもよい（図１８（ａ）の矢印１３５、１３６）。また、データセンタ運営会社１１０のクラウドサーバ１１１は、ログ情報をユーザに提供するサービスに適合する情報に整理し、サービスプロバイダ１２０に提供してもよい。

【0132】

なお、ユーザ１０は、ユーザ２０と異なっていても同一であってもよい。
なお、上記態様において説明された技術は、例えば、以下のクラウドサービスの類型においても実現されうる。しかし、上記態様において説明された技術が実現されるクラウドサービスの類型はこれらに限られるものでない。

【0133】

（サービスの類型１：自社データセンタ型クラウドサービス）
図１９は、サービスの類型１（自社データセンタ型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。本類型では、サービスプロバイダ１２０がグループ１００から情報を取得し、ユーザに対してサービスを提供する。本類型では、サービスプロバイダ１２０が、データセンタ運営会社の機能を有している。すなわち、サービスプロバイダ１２０が、ビッグデータを管理するクラウドサーバ１１１を保有している。したがって、データセンタ運営会社は存在しない。

【0134】

本類型では、サービスプロバイダ１２０は、データセンタ（クラウドサーバ）２０３を運営及び管理している。また、サービスプロバイダ１２０は、オペレーティングシステム（ＯＳ）２０２及びアプリケーション２０１を管理する。サービスプロバイダ１２０は、サービスプロバイダ１２０が管理するＯＳ２０２及びアプリケーション２０１を用いてサービスを提供する（矢印２０４）。

【0135】

（サービスの類型２：ＩａａＳ利用型クラウドサービス）
図２０は、サービスの類型２（ＩａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。ここで、ＩａａＳとは、インフラストラクチャー・アズ・ア・サービスの略であり、コンピュータシステムを構築および稼動させるための基盤そのものを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。

【0136】

本類型では、データセンタ運営会社１１０が、データセンタ（クラウドサーバ）２０３を運営及び管理している。また、サービスプロバイダ１２０は、ＯＳ２０２及びアプリケーション２０１を管理する。サービスプロバイダ１２０は、サービスプロバイダ１２０が管理するＯＳ２０２及びアプリケーション２０１を用いてサービスを提供する（矢印２０４）。

【0137】

（サービスの類型３：ＰａａＳ利用型クラウドサービス）
図２１は、サービスの類型３（ＰａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。ここで、ＰａａＳとは、プラットフォーム・アズ・ア・サービスの略であり、ソフトウェアを構築および稼動させるための土台となるプラットフォームを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。

【0138】

本類型では、データセンタ運営会社１１０は、ＯＳ２０２を管理し、データセンタ（クラウドサーバ）２０３を運営及び管理している。また、サービスプロバイダ１２０は、アプリケーション２０１を管理する。サービスプロバイダ１２０は、データセンタ運営会社１１０が管理するＯＳ２０２及びサービスプロバイダ１２０が管理するアプリケーション２０１を用いてサービスを提供する（矢印２０４）。

【0139】

（サービスの類型４：ＳａａＳ利用型クラウドサービス）
図２２は、サービスの類型４（ＳａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。ここで、ＳａａＳとは、ソフトウェア・アズ・ア・サービスの略である。ＳａａＳ利用型クラウドサービスは、例えば、データセンタ（クラウドサーバ）を保有しているプラットフォーム提供者が提供するアプリケーションを、データセンタ（クラウドサーバ）を保有していない会社又は個人などの利用者がインターネットなどのネットワーク経由で使用できる機能を有するクラウドサービス提供モデルである。

【0140】

本類型では、データセンタ運営会社１１０は、アプリケーション２０１を管理し、ＯＳ２０２を管理し、データセンタ（クラウドサーバ）２０３を運営及び管理している。また、サービスプロバイダ１２０は、データセンタ運営会社１１０が管理するＯＳ２０２及びアプリケーション２０１を用いてサービスを提供する（矢印２０４）。

【0141】

以上、いずれのクラウドサービスの類型においても、サービスプロバイダ１２０がサービスを提供する。また、例えば、サービスプロバイダ又はデータセンタ運営会社は、ＯＳ、アプリケーション又はビックデータのデータベース等を自ら開発してもよいし、また、第三者に外注させてもよい。

【産業上の利用可能性】

【0142】

本願に開示された、肌分析方法、肌分析装置および肌分析装置を制御する制御方法は、肌分析装置による肌領域の分析、評価に好適に用いられる。

【符号の説明】

【0143】

１０、２０ ユーザ
３１ 顔画像
３５ ガイド
７０ メイン画面
７２ サブ画面
７２Ｌ 左側
７２Ｒ 右側
７４ 数字
７８ 左側部
８０ 上部
８１ ターゲット
８３ 領域
１００ グループ
１０１ 機器
１０２ ホームゲートウェイ
１０５ ディスプレイ
１１０ データセンタ運営会社
１１１ クラウドサーバ
１２０ サービスプロバイダ
１２１ サーバ
２００ 肌
２００Ａ 表皮
２００Ｂ 真皮
２００Ｓ 表面
２０１ アプリケーション
２０４ 矢印
３００ カメラ
３０１ 照明装置
３０２ 制御装置
３０２Ａ マイクロコンピュータ
３０２Ｂ メモリ
３０２Ｃ 通信部
３０３ ディスプレイ
３０４ ユーザ
３０５ 肌分析装置
３０７ クラウドサーバ
３０７Ａ マイクロコンピュータ
３０７Ｂ メモリ
３０７Ｃ 通信部
３０７Ｄ データベース
３３０ ディスプレイ
１１０２ 画像取得部
１１０３ 抽出基準決定部
１１０４ ターゲット抽出部
１１０５ ディスプレイ
１４０１ 顔検出部
１８０１ メモリ
１８０２ 演算部
１８０３ 通信部
１８１１ データベース
１８１２ メモリ
１８１３ 演算部
１８１４ 通信部
１９０１ 抽出基準選択部
１９０２ 抽出結果評価部
１９１１ ユーザ選択データベース
１９１２ 評価結果データベース
２００１ データ受信ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】