特許 5771647 肌解析装置、肌解析システム、肌解析方法および肌解析プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5771647

(24)【登録日】2015年7月3日

(45)【発行日】2015年9月2日

(54)【発明の名称】肌解析装置、肌解析システム、肌解析方法および肌解析プログラム

(51)【国際特許分類】

   G06T 7/60 20060101AFI20150813BHJP

   A61B 5/107 20060101ALI20150813BHJP

   A61B 5/00 20060101ALI20150813BHJP

   G06Q 50/00 20120101ALI20150813BHJP

【ＦＩ】

   G06T7/60 250A

   A61B5/10 300Q

   A61B5/00 M

   G06Q50/00 100

【請求項の数】10

【全頁数】15

(21)【出願番号】特願2013-97557(P2013-97557)

(22)【出願日】2013年5月7日

(65)【公開番号】特開2014-219781(P2014-219781A)

(43)【公開日】2014年11月20日

【審査請求日】2013年11月29日

(73)【特許権者】

【識別番号】399035766

【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】玉川 玲

(72)【発明者】

【氏名】新地 夏代

(72)【発明者】

【氏名】岩田 恭子

(72)【発明者】

【氏名】菅野 千鶴

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２０１３−０６９１２２（ＪＰ，Ａ）

【文献】 特開２００２−２２４０４９（ＪＰ，Ａ）

【文献】 特開２００２−２６９２１１（ＪＰ，Ａ）

【文献】 特開２００３−２８７７８４（ＪＰ，Ａ）

【文献】 特開２００１−２１５６０５（ＪＰ，Ａ）

【文献】 特開２０１２−０５３８１３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，７／００−７／６０

Ａ６１Ｂ ５／００，５／１０７

Ｇ０６Ｑ ５０／００

(57)【特許請求の範囲】

【請求項1】

肌解析装置であって、
端末から送信されるデジタル画像に含まれる顔の所定の部位を基準として、前記デジタル画像の解析対象範囲を特定するとともに、左右の目の間の目間距離を測定する特定手段と、
前記目間距離が所定の長さとなるように前記デジタル画像の画像サイズを拡大または縮小して正規化し、前記解析対象範囲からエッジを検出し、前記エッジをシミまたはシワとして前記デジタル画像に設定した解析画像を生成する検出手段と、を備え、
前記特定手段は、複数の解析対象範囲を特定し、
前記検出手段は、解析対象範囲毎に、前記デジタル画像への前記エッジの設定方法を変え、シミの解析対象範囲については動的２値化法を用いてエッジを検出し、シワの解析対象範囲についてはエッジ検出法を用いてエッジを検出すること
を特徴とする肌解析装置。

【請求項2】

請求項１記載の肌解析装置であって、
前記検出手段が検出したエッジの数またはエッジの面積に応じて、前記デジタル画像のユーザの肌を評価し、前記解析画像と評価結果とを前記端末に送信する評価手段をさらに備えること
を特徴とする肌解析装置。

【請求項3】

請求項２記載の肌解析装置であって、
ユーザ毎に過去の前記評価結果を記憶する解析結果記憶手段をさらに備え、
前記評価手段は、前記解析結果記憶手段から過去の評価結果を取得し、前記端末に送信すること
を特徴とする肌解析装置。

【請求項4】

請求項２または３記載の肌解析装置であって、
前記評価手段は、年代毎のエッジの数またはエッジの面積の平均と比較して、前記デジタル画像のユーザの肌を評価すること
を特徴とする肌解析装置。

【請求項5】

請求項２から４のいずれか１項に記載の肌解析装置であって、
前記評価手段は、前記評価結果に適したスキンケア商品の商品情報を前記端末に送信すること
を特徴とする肌解析装置。

【請求項6】

請求項２から５のいずれか１項に記載の肌解析装置であって、
前記評価手段は、前記評価結果に適したスキンケア商品のサンプルを、当該肌解析装置の有料会員のユーザに送付すること
を特徴とする肌解析装置。

【請求項7】

端末と肌解析装置とを備える肌解析システムであって、
前記端末は、
カメラ手段と、
ユーザの顔を撮影する際に、撮影される顔が一定の大きさで所定の位置になるように、顔の大きさおよび位置を示す枠を表示する制御手段と、
前記カメラ手段が撮像したユーザの顔のデジタル画像を、前記肌解析装置に送信する送信手段と、を備え、
前記肌解析装置は、
前記端末から送信されるデジタル画像に含まれる顔の所定の部位を基準として、前記デジタル画像の解析対象範囲を特定するとともに、左右の目の間の目間距離を測定する特定手段と、
前記目間距離が所定の長さとなるように前記デジタル画像の画像サイズを拡大または縮小して正規化し、前記解析対象範囲からエッジを検出し、前記エッジをシミまたはシワとして前記デジタル画像に設定した解析画像を生成する検出手段と、を備え、
前記特定手段は、複数の解析対象範囲を特定し、
前記検出手段は、解析対象範囲毎に、前記デジタル画像への前記エッジの設定方法を変え、シミの解析対象範囲については動的２値化法を用いてエッジを検出し、シワの解析対象範囲についてはエッジ検出法を用いてエッジを検出すること
を特徴とする肌解析システム。

【請求項8】

請求項７記載の肌解析システムであって、
前記端末の制御手段は、所定の条件を満たしている場合にのみ、ユーザの撮像指示を受け付けること
を特徴とする肌解析システム。

【請求項9】

コンピュータが行う肌解析方法であって、
端末から送信されるデジタル画像に含まれる顔の所定の部位を基準として、前記デジタル画像の解析対象範囲を特定するとともに、左右の目の間の目間距離を測定する特定ステップと、
前記目間距離が所定の長さとなるように前記デジタル画像の画像サイズを拡大または縮小して正規化し、前記解析対象範囲からエッジを検出し、前記エッジをシミまたはシワとして前記デジタル画像に設定した解析画像を生成する検出ステップと、を行い、
前記特定ステップは、複数の解析対象範囲を特定し、
前記検出ステップは、解析対象範囲毎に、前記デジタル画像への前記エッジの設定方法を変え、シミの解析対象範囲については動的２値化法を用いてエッジを検出し、シワの解析対象範囲についてはエッジ検出法を用いてエッジを検出すること
を特徴とする肌解析方法。

【請求項10】

コンピュータが実行する肌解析プログラムであって、
端末から送信されるデジタル画像に含まれる顔の所定の部位を基準として、前記デジタル画像の解析対象範囲を特定するとともに、左右の目の間の目間距離を測定する特定ステップと、
前記目間距離が所定の長さとなるように前記デジタル画像の画像サイズを拡大または縮小して正規化し、前記解析対象範囲からエッジを検出し、前記エッジをシミまたはシワとして前記デジタル画像に設定した解析画像を生成する検出ステップと、を実行させ、
前記特定ステップは、複数の解析対象範囲を特定し、
前記検出ステップは、解析対象範囲毎に、前記デジタル画像への前記エッジの設定方法を変え、シミの解析対象範囲については動的２値化法を用いてエッジを検出し、シワの解析対象範囲についてはエッジ検出法を用いてエッジを検出すること
を特徴とする肌解析プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、肌のシミまたはシワの状態を解析する肌解析装置、肌解析システム、肌解析方法および肌解析プログラムに関する。

【背景技術】

【0002】

従来、顔全体にあるシミやシワの状態を測定する場合、エステサロンや美容皮膚科にしか置いていない専用の機器を用いる必要がある。エステサロンや美容皮膚科では、照明環境を一定に保つために専用の撮影カーテンや照明などの装置を備え、また、技術者が専用の機器を操作することで、シミやシワの測定を行っている。

【0003】

また、特許文献１には、ユーザが撮影した顔画像を解析する技術が提案されているが、色の補正のためのデータが別途必要となるなどの制約がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開2000-339331号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来では、ユーザが自身のシミやシワの状態を把握するためには、エステサロンや美容皮膚科に出向き、専用の機器でシミやシワを測定し、専門家による診断を受ける必要がある。したがって、ユーザは、シミやシワの状態を把握するために、ある程度の時間と費用が必要であり、自分の好きなタイミングで気軽に自身のシミやシワの状態を把握することができない。そのため、ユーザは、シミやシワの客観的な状態を知りたいと思っていても、実際にシミやシワを測定する機会は少ない。

【0006】

本発明は上記事情に鑑みてなされたものであり、本発明の目的は、ユーザが手軽に自身のシミまたはシワの状態を確認できる肌解析装置、肌解析システム、肌解析方法および肌解析プログラムを提供することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するため、第１の本発明は、肌解析装置であって、端末から送信されるデジタル画像に含まれる顔の所定の部位を基準として、前記デジタル画像の解析対象範囲を特定するとともに、左右の目の間の目間距離を測定する特定手段と、前記目間距離が所定の長さとなるように前記デジタル画像の画像サイズを拡大または縮小して正規化し、前記解析対象範囲からエッジを検出し、前記エッジをシミまたはシワとして前記デジタル画像に設定した解析画像を生成する検出手段と、を備え、前記特定手段は、複数の解析対象範囲を特定し、前記検出手段は、解析対象範囲毎に、前記デジタル画像への前記エッジの設定方法を変え、シミの解析対象範囲については動的２値化法を用いてエッジを検出し、シワの解析対象範囲についてはエッジ検出法を用いてエッジを検出する。

【0009】

上記肌解析装置において、前記検出手段が検出したエッジの数またはエッジの面積に応じて、前記デジタル画像のユーザの肌を評価し、前記解析画像と評価結果とを前記端末に送信する評価手段をさらに備える。

【0010】

上記肌解析装置において、ユーザ毎に過去の前記評価結果を記憶する解析結果記憶手段をさらに備え、前記評価手段は、前記解析結果記憶手段から過去の評価結果を取得し、前記端末に送信する。

【0011】

上記肌解析装置において、前記評価手段は、年代毎のエッジの数またはエッジの面積の平均と比較して、前記デジタル画像のユーザの肌を評価する。

【0012】

上記肌解析装置において、前記評価手段は、前記評価結果に適したスキンケア商品の商品情報を前記端末に送信する。

【0013】

上記肌解析装置において、前記評価手段は、前記評価結果に適したスキンケア商品のサンプルを、当該肌解析装置の有料会員のユーザに送付する。

【0014】

第２の本発明は、端末と肌解析装置とを備える肌解析システムであって、前記端末は、 カメラ手段と、ユーザの顔を撮影する際に、撮影される顔が一定の大きさで所定の位置になるように、顔の大きさおよび位置を示す枠を表示する制御手段と、前記カメラ手段が撮像したユーザの顔のデジタル画像を、前記肌解析装置に送信する送信手段と、を備え、前記肌解析装置は、前記端末から送信されるデジタル画像に含まれる顔の所定の部位を基準として、前記デジタル画像の解析対象範囲を特定するとともに、左右の目の間の目間距離を測定する特定手段と、前記目間距離が所定の長さとなるように前記デジタル画像の画像サイズを拡大または縮小して正規化し、前記解析対象範囲からエッジを検出し、前記エッジをシミまたはシワとして前記デジタル画像に設定した解析画像を生成する検出手段と、を備え、前記特定手段は、複数の解析対象範囲を特定し、前記検出手段は、解析対象範囲毎に、前記デジタル画像への前記エッジの設定方法を変え、シミの解析対象範囲については動的２値化法を用いてエッジを検出し、シワの解析対象範囲についてはエッジ検出法を用いてエッジを検出する。

【0015】

前記肌解析システムにおいて、前記端末の制御手段は、所定の条件を満たしている場合にのみ、ユーザの撮像指示を受け付ける。

【0016】

第３の本発明は、コンピュータが行う肌解析方法であって、端末から送信されるデジタル画像に含まれる顔の所定の部位を基準として、前記デジタル画像の解析対象範囲を特定するとともに、左右の目の間の目間距離を測定する特定ステップと、前記目間距離が所定の長さとなるように前記デジタル画像の画像サイズを拡大または縮小して正規化し、前記解析対象範囲からエッジを検出し、前記エッジをシミまたはシワとして前記デジタル画像に設定した解析画像を生成する検出ステップと、を行い、前記特定ステップは、複数の解析対象範囲を特定し、前記検出ステップは、解析対象範囲毎に、前記デジタル画像への前記エッジの設定方法を変え、シミの解析対象範囲については動的２値化法を用いてエッジを検出し、シワの解析対象範囲についてはエッジ検出法を用いてエッジを検出する。

【0017】

第４の本発明は、コンピュータが実行する肌解析プログラムであって、端末から送信されるデジタル画像に含まれる顔の所定の部位を基準として、前記デジタル画像の解析対象範囲を特定するとともに、左右の目の間の目間距離を測定する特定ステップと、前記目間距離が所定の長さとなるように前記デジタル画像の画像サイズを拡大または縮小して正規化し、前記解析対象範囲からエッジを検出し、前記エッジをシミまたはシワとして前記デジタル画像に設定した解析画像を生成する検出ステップと、を実行させ、前記特定ステップは、複数の解析対象範囲を特定し、前記検出ステップは、解析対象範囲毎に、前記デジタル画像への前記エッジの設定方法を変え、シミの解析対象範囲については動的２値化法を用いてエッジを検出し、シワの解析対象範囲についてはエッジ検出法を用いてエッジを検出する。

【発明の効果】

【0018】

本発明によれば、ユーザが手軽に自身のシミまたはシワの状態を確認できる肌解析装置、肌解析システム、肌解析方法および肌解析プログラムを提供することができる。

【図面の簡単な説明】

【0019】

【図1】本発明の実施形態に係る肌解析システムの構成を示す構成図である。

【図2】肌解析システムの処理を説明するための説明図である。

【図3】撮影支援画面の一例を示す図である。

【図4】顔の部位をマスクした画像の一例を示す図である。

【図5】解析対象範囲を示すマスク画像の一例である。

【図6】シミの解析結果画面の一例を示す図である。

【図7】シワの解析結果画面の一例を示す図である。

【図8】肌チェック結果画面の一例を示す図である。

【発明を実施するための形態】

【0020】

以下、本発明の実施形態について説明する。

【0021】

図１は、本発明の実施形態に係る肌解析システムの全体構成を示す図である。図示する肌解析システムは、ユーザが使用する端末１と、肌解析装置２とを備え、これらはインターネットなどのネットワークを介して接続される。

【0022】

端末１は、例えば、スマートフォン、タブフレット端末などの携帯端末を用いることが考えられる。図示する端末１は、画像（写真）を撮影するカメラ部１１（カメラ手段）と、制御部１２（制御手段、送信手段）と、表示部１３と、解析結果記憶部１４とを備える。

【0023】

制御部１２は、ユーザの操作を受け付けて、カメラ部１１がユーザの顔を撮影する際に、撮影される顔が一定の大きさで所定の位置になるように、顔の大きさおよび位置を示す枠を当該端末１が備えるディスプレイに表示し、また、所定の条件を満たしている場合にのみ、ユーザの撮像指示を受け付ける。また、制御部１２は、カメラ部１１が撮像したユーザの顔のデジタル画像を、肌解析装置２に送信する。

【0024】

表示部１３は、肌解析装置２から送信される肌の解析画像、肌の評価結果などをディスプレイに表示する。解析結果記憶部１４には、肌解析装置２から送信される肌の解析画像、肌の評価結果などの履歴が蓄積される。

【0025】

なお、端末１では、肌解析装置２が提供するアプリケーションプログラムをダウンロードすることで、制御部１２、表示部１３および解析結果記憶部１４の機能が実現されるものとする。

【0026】

肌解析装置２は、端末１からネットワークを介して送信されるデジタル画像を用いてユーザの肌の状態を解析する。図示する肌解析装置２は、部位特定部２１（特定手段）と、シミ・シワ検出部２２（検出手段、生成手段）と、評価部２３（評価手段）と、解析結果記憶部２４（解析結果記憶手段）とを備える。

【0027】

部位特定部２１は、端末１から送信されるデジタル画像に含まれる顔の所定の部位を基準として、デジタル画像の中で解析対象範囲を特定する。また、本実施形態では、部位特定部２１は、複数の解析対象範囲を特定する。

【0028】

シミ・シワ検出部２２は、部位特定部２１が特定した各解析対象範囲からエッジを検出し、当該エッジをシミまたはシワとしてデジタル画像に設定した解析画像を生成する。また、本実施形態では、シミ・シワ検出部２２は、解析対象範囲毎にデジタル画像にシミまたはシワとして設定するエッジの設定方法を変える。

【0029】

評価部２３は、シミ・シワ検出部２２が検出したエッジの数またはエッジの面積に応じて、ユーザの肌を評価し、解析画像と評価結果とを端末１に送信する。また、評価部２３は、年代毎のエッジの数またはエッジの面積の平均と比較して、デジタル画像のユーザの肌を評価する。また、評価部２３は、解析結果記憶部２４から過去の評価結果を取得し、端末１に送信する。解析結果記憶部２４には、ユーザ毎に過去の評価結果が記憶される。

【0030】

上記説明した端末１および肌解析装置２は、例えば、ＣＰＵと、メモリと、ＨＤＤ等の外部記憶装置と、入力装置と、出力装置とを備えた汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた所定のプログラムを実行することにより、各部の各機能が実現される。例えば、端末１および肌解析装置２の各機能は、端末１用のプログラムの場合は端末１のＣＰＵが、そして、肌解析装置２用のプログラムの場合は肌解析装置２のＣＰＵがそれぞれ実行することにより実現される。また、端末１用のプログラムおよび肌解析装置２用のプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ−ＲＯＭなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。

【0031】

次に、本実施形態の処理について説明する。

【0032】

図２は、本実施形態の肌解析処理を説明するための説明図である。

【0033】

本実施形態では、ユーザは、肌解析装置２が提供する肌解析サービスを利用するために、あらかじめ肌解析装置２に無料または有料の会員登録をし、肌解析装置２からダウンロードしたアプリケーションプログラムを端末１にインストールする。

【0034】

そして、会員登録したユーザは、端末１を操作して自身の顔の写真を撮影する。端末１のカメラ部１１は、ユーザの撮影指示を受け付けて、ユーザの顔を撮影する（Ｓ１１）。撮影時に、端末１の制御部１２は、例えば図３に示すような撮影支援画面を端末１のディスプレイに表示する。図示する撮影支援画面には、撮影されるユーザの顔が適切な一定の大きさで所定の位置になるように、所定の大きさの枠３１（例えば楕円）が表示されている。

【0035】

ユーザは、この枠内に顔の輪郭が収まるように、端末１と、撮影対象の自身の顔との距離を調整する。また、図示する撮影支援画面では、顔が一定の向き（正面）になるように、中心線３２、および目が映されるべき位置を示す目の位置３３が表示されている。ユーザは、縦の中心線３２に自身の鼻の中心が映るように顔の向きを調整し、また目の位置３３に、自身の目が映るように顔の向きを調整する。

【0036】

ユーザは、撮影支援画像で調整した後に、例えば撮影支援画面に表示されたシャッター部分３４をタッチすることで、撮影指示を入力する。これにより、カメラ部１１は、撮影支援画面に表示されたユーザ（枠以外の部分も含む）を撮影する。なお、制御部１２は、所定の条件を満たしていない場合には、ユーザの撮影指示を受け付けない（シャッターがおりない）ように制御し、所定の条件を満たしている場合にのみ、ユーザの撮影指示を受け付けるように制御することとしてもよい。所定の条件としては、例えば、顔の大きさが所定の範囲内の大きさであることなどが考えられる。

【0037】

ユーザの顔を撮影する際に、端末１の制御部１２がこのような撮影支援を行うことで、端末１を用いてユーザ自ら撮影する自身の顔をできる限り良質な画像とし、肌解析の精度を向上させることができる。なお、カメラ部１１は、ピント、ブレ補正などを自動で行う。

【0038】

端末１の制御部１２は、カメラ部１１が撮影したユーザの顔のデジタル画像を、肌解析装置２に送信する（Ｓ１２）。肌解析装置２の部位特定部２１およびシミ・シワ検出部２２は、端末１から送信されたデジタル画像をそれぞれ受信する。

【0039】

部位特定部２１は、受信したデジタル画像から、例えば顔検出学習データなどを用いて顔を検出し、検出した顔を顔モデルにあてはめて顔の所定の部位（ここでは、目、鼻、口）を特定する（Ｓ１３）。なお、顔の部位の検出には、例えばActive Shape Modelsなどを用いることが考えられる。また、部位特定部２１は、特定した目の位置（座標など）を用いて、目間距離を測定する。目間距離は、左右の目の間の距離である。

【0040】

そして、部位特定部２１は、特定した各部位は、肌以外であって、解析対象外の範囲であると判別し、当該各部位をマスクする（Ｓ１４）。

【0041】

図４は、各部位をマスクした画像の一例を示す図である。例えば、目のマスクについては、Ｓ１３で特定された目の端の上下左右の４点を用いて楕円を生成する。口のマスクは、目のマスクと同様に楕円を生成する。鼻のマスクについては、Ｓ１３で特定された鼻の輪郭を示す点を接続した多角形を生成する。なお、本実施形態では、作成した鼻のマスクを下に伸ばして、口のマスクと連結させることとする。

【0042】

そして、部位特定部２１は、シミ・シワの解析対象範囲を特定する（Ｓ１５）。本実施形態では、シワの解析対象範囲として、一般的にシワが出やすい目尻と、目の下と、ほうれい線（鼻の両脇から唇の両端に伸びるシワ）が現れる部分とを、解析対象範囲とする。シミについては、一般的にシミが出やすい頬の部分を解析対象範囲とする。

【0043】

図５は、図４の各部位をマスクした画像に、各解析対象範囲を示したマスク画像の一例を示す図である。例えば、目尻の解析対象範囲５１については、Ｓ１３で特定された目の目尻の端点と、当該端点の近傍にある顔の輪郭を示す輪郭点とを用いて解析対象範囲を決定する。図示する例では、目尻の端点と、当該端点の近傍の顔の輪郭点とを用いて生成した楕円を目尻の解析対象範囲５１としている。

【0044】

目の下の解析対象範囲５２については、Ｓ１３で特定された目の端点と、鼻および顔の輪郭点とを利用して多角形を生成することが考えられる。ほうれい線の解析対象範囲５３については、例えば、顔と鼻の輪郭点を利用して、鼻の両脇から唇の両端の領域を包含する多角形を生成する。しみの解析範囲５４は、Ｓ１３で特定された目の目尻の端点と、口の両端の端点と、顔の輪郭点とを用いて、頬の領域を包含する多角形を生成する。

【0045】

そして、部位特定部２１は、測定した目間距離と、マスクおよび解析対象範囲が設定されたマスク画像をシミ・シワ検出部２２に送出する（Ｓ１６）。

【0046】

シミ・シワ検出部２２は、目間距離を受け付けると、目間距離が所定の長さになるようにＳ１２で端末１から受信した顔のデジタル画像の画像サイズを拡大または縮小して、正規化する（Ｓ１７）。同様に、Ｓ１６で部位特定部２１から受け付けたマスク画像の画像サイズも、目間距離が所定の長さになるように、拡大または縮小して正規化する。このように画像を正規化することで、端末１から送信されるデジタル画像の顔の大きさを一定にし、過去に解析したシミ・シワの解析結果と、現在のシミ・シワの解析結果とを正しく比較することができる。

【0047】

そして、シミ・シワ検出部２２は、正規化後の顔画像に、正規化後のマスク画像を重ね合わせ、各解析対象範囲のシミ・シワを解析する（Ｓ１８）。すなわち、本実施形態では、シミ、シワ（目尻）、シワ（目の下）、シワ（ほうれい線）毎に解析する。

【0048】

（１）シミの解析
シミ・シワ検出部２２は、顔画像の中で、マスク画像（図５参照）で指定されたシミ解析対象範囲５４から目、鼻、口のマスク部分を除いた領域について解析する。本実施形態では、シミの解析に動的２値化法を用いるものとする。例えば、正規化されたカラー画像の顔画像をグレースケール画像（以下、原画像）に変換し、原画像をぼかしたぼかし画像を生成する。そして、原画像の各画素値からぼかし画像の対応座標の画素値を減算し、一定のバイアス値を加算した差分画像を生成し、当該差分画像を一定の閾値で２値化した２値画像を生成する。そして、２値画像から、ラベリング処理により黒点が連結した連結成分（エッジ）を検出し、検出した連結成分の集合を構成する黒画素数を基準として絞り込む。ここでは、大小２つの閾値を用いることで、黒点数が少なすぎる連結成分と、黒点数が多すぎる連結成分とを削除する。そして、絞込み後の連結成分の数を、マスク部分を除いたシミ解析対象範囲内でカウントする。絞込み後の連結成分の数が、シミの数値化された値となる。

【0049】

また、絞込み後の各連結成分を、前記シミ解析対象範囲内で画像の形式に変換して、顔画像にシミとして設定する。すなわち、絞込み後の各連結成分（シミ）をＳ１２で送信された顔画像に重ねて設定・表示したシミ解析画像を生成する。

【0050】

（２）シワの解析（目尻）
シミ・シワ検出部２２は、顔画像の中で、マスク画像で指定された、目尻のシワ解析対象範囲５１からマスク部分を除いた領域について解析する。シワの解析には、本実施形態ではエッジ検出法を用いるものとする。例えば、正規化されたカラー画像の顔画像をグレースケール画像（以下、原画像）に変換し、原画像に対して所定のエッジ検出アルゴリズムを用いたエッジ検出を行い、検出結果として２値画像を取得する。そして、この２値画像からラベリング処理により黒点が連結した連結成分（エッジ）を検出し、検出した連結成分の集合を、構成する黒画素数を基準として絞り込む。ここでは、１つの閾値を用いて黒点数が少なすぎる連結成分を削除する。そして、絞込み後の連結成分の数を、マスク部分を除いた目尻のシワ解析対象範囲内でカウントする。絞込み後の連結成分の数が、シワ（目尻）の数値化された値となる。また、絞込み後の各連結成分を、解析対象範囲内で画像の形式に変換して、顔画像に目尻のシワとして設定する。

【0051】

（３）シワの解析（目の下）
シミ・シワ検出部２２は、顔画像の中で、マスク画像で指定された、目の下のシワ解析対象範囲５２からマスク部分を除いた領域について解析する。目の下のシワ解析については、（２）の目尻のしわの解析と同じであるため、ここでは説明を省略する。

【0052】

（４）シワの解析（ほうれい線）
シミ・シワ検出部２２は、顔画像の中で、マスク画像で指定された、ほうれい線のシワ解析対象範囲５３からマスク部分を除いた領域について解析する。本実施形態では、正規化されたカラー画像の顔画像をグレースケール画像（以下、原画像）に変換し、原画像をぼかしたぼかし画像を生成する。そして、原画像の各画素値からぼかし画像の対応座標の画素値を減算し、一定のバイアス値を加算した差分画像を生成し、当該差分画像を一定の閾値で２値化した２値画像を生成する。そして、２値画像の中でシワ解析対象範囲５３（マスク部分を除く）以外の黒点を全て白点し、その結果の２値画像に対してラベリング処理により黒点が連結した連結成分（エッジ）を検出し、検出した連結成分の集合を構成する黒画素数を基準として絞り込む。ここでは１つの閾値を用いることで、黒点数が少なすぎる連結成分を削除する。そして、絞込み後の各連結成分を構成する黒画素の数の合計を、マスク部分を除いたほうれい線の解析対象範囲内でカウントする。絞込み後の各連結成分の黒画素の数の合計（連結成分の面積）が、ほうれい線の数値化された値となる。また、絞込み後の各連結成分を、解析対象範囲内で画像の形式に変換して、顔画像にほうれい線として設定する。

【0053】

本実施形態では、（２）から（４）の各解析対象範囲でそれぞれ解析されたシワ（絞込み後の連結成分）を、Ｓ１２で送信された顔画像に重ねて設定・表示したシワ解析画像を生成する。

【0054】

なお、本実施形態では、上記連結成分（エッジ）をシミまたはシワとして検出したが、上記方法に限定されるものではなく、シミまたはシワに該当する箇所がエッジ（特徴箇所）として検出される画像処理であれば、どのような方法を用いてもよい。

【0055】

そして、評価部２３は、Ｓ１８の解析結果を評価し、評価結果と、Ｓ１８で生成された解析画像とを端末１に送信する（Ｓ１９）。なお、以下に説明する本実施形態では、評価部２３が評価結果と解析画像とを含む解析結果画面を生成し、端末１に送信することとするが、評価結果と解析画像とを受信した端末１が、解析結果画面を生成することとしてもよい。

【0056】

図６から図８は解析結果画面の一例を示す図である。図６は、シミの解析結果画面であって、Ｓ１８で生成したシミ解析画像６１と、シミ評価結果６２とを備える。シミ解析画像６１については、シミ・シワ検出部２２は、検出したシミ（連結成分）を、所定の方法で強調したシミ解析画像６１を生成することとしてもよい。強調の方法としては、例えば、検出したシミを赤などの目立つ色で表示する、実際に検出された各連結成分を所定の比率で拡大してシミとして表示することなどが考えられる。また、シミを強調するために、Ｓ１８でシミを数値化した連結成分の数を、シミ解析結果画面に表示することとしてもよい。

【0057】

シミ評価結果６２では、Ｓ１８で数値化されたシミ（連結成分）の数を用いて、ユーザの肌を評価する。図示する例では、シミの数に応じたシミのレベルを示している。評価部２３は、当該ユーザと同年代の他のユーザのシミの数の平均値と、当該ユーザのシミの数とを比較して、複数のレベルの中で当該ユーザのレベルを特定し、ユーザの肌を評価する。図示する例では５つのレベルとし、同年代の平均値と同程度であれば、真ん中のレベルとし、同年代の平均値より多い場合はその程度に応じて「ＢＡＤ（悪い）」側のいずれかのレベルとし、同年代の平均値より少ない場合はその程度に応じて「ＧＯＯＤ（良い）」側のいずれかのレベルとする。

【0058】

なお、評価部２３は、図示しない記憶部に、年代毎（例えば、１０代、３０代、４０代、・・・）のシミの数の平均値を記憶しているものとする。また、ユーザは、肌解析装置２に会員登録する際に、自身の年齢または年代を登録しているものとする。肌解析装置２は、会員情報記憶部（不図示）を備え、ユーザ毎にユーザＩＤ、年齢などの会員情報を登録しているものとする。このように、他のユーザの平均値と比較して表示することにより、ユーザは、同年代の中で、自身のシミの客観的な評価データを得ることができる。

【0059】

また、シミ評価結果６２では、当該ユーザの過去の解析結果と比較して、ユーザの肌を評価することとしてもよい。図示する例では、前回のレベルを所定のマーク（△）で表示している。前回のレベルについては、評価部２３は、解析結果記憶部２４を参照し、当該ユーザの前回のレベルを取得し、取得したレベルの下に前回のレベルを示すマークを設定する。また、当該ユーザの過去の解析結果画面の履歴を、ユーザからの指示に応じて表示することとしてもよい。

【0060】

図７は、シワの解析結果画面であって、Ｓ１８で解析対象範囲毎に生成したシワ解析画像７１と、シワ評価結果７２とを備える。シワ解析画像７１については、シミ・シワ検出部２２は、検出した各解析対象範囲（目尻、目の下、ほうれい線）のシワを、所定の方法で強調して表示することとしてもよい。強調の方法としては、例えば、検出したシミを解析対象範囲毎に異なる方法（例えば、異なる色とするなど）としてもよいし、実際の絞込み後の各連結成分を所定の比率で拡大して表示することなどが考えられる。また、シワを強調するために、解析対象範囲毎にＳ１８で数値化した連結成分の数または連結成分の面積を、シワ解析結果画面に表示することとしてもよい。

【0061】

シワ評価結果７２では、解析対象範囲毎にＳ１８で数値化されたシワ（連結成分）の数または面積を用いて、ユーザの肌を評価する。図示する例では、シワの数または面積に応じたシワのレベルを示している。シワ評価結果７２は、図６のシミ評価結果６２と同様であって、当該ユーザと同年代の他のユーザのシワの数または面積の平均値と、当該ユーザとを比較して、当該ユーザのレベルを特定し、また、当該ユーザの過去の解析結果と比較して表示している。また、当該ユーザの過去の解析結果画面の履歴を、ユーザからの指示に応じて表示することとしてもよい。

【0062】

図８は、肌チェック結果画面であって、図６のシミ評価結果６２と、図７のシワ評価結果７２とをまとめたシミ・シワ評価結果８１と、お勧めの商品一覧８２とを有する。評価部２３は、シミおよびシワの評価結果に適した少なくとも１つの商品（スキンケア商品など）を選択し、選択した各商品の商品情報を設定する。例えば、肌解析装置２は、シミのレベル毎に、またはシワのレベル毎に、対応する商品が記憶された商品記憶部（不図示）を備え、シミやシワのレベルに応じた商品を選択し、選択した各商品の商品情報を肌チェック結果画面に表示することとしてもよい。これにより、ユーザは、自身の肌タイプに適した商品を容易に知ることができ、肌解析装置２の肌解析サービスを、繰り返し利用するモチベーションを高めることができる。

【0063】

また、評価部２３は、シミおよびシワの評価結果に適した少なくとも１つの商品（お勧めの商品一覧８２に表示する商品）のサンプルを、有料会員のユーザに送付することとしてもよい。これにより、有料会員のユーザは、自身の肌タイプにあった商品を実際に使用することができ、その商品の効果を実感できるとともに、商品の使用後に自身の顔画像を肌解析装置２に送信することで商品の効果を客観的に確認することができる。

【0064】

評価部２３は、以上のような解析結果画面（または、評価結果および解析画像）を、解析結果記憶部２４に格納するとともに、解析結果画面を端末１に送信する。解析結果記憶部２４には、各ユーザが端末１から自身の顔画像を送信する度に、シミおよびシワの解析画像および評価結果が、履歴として蓄積される。

【0065】

端末１の表示部１３は、肌解析装置２から送信された各解析結果画面（図６〜図８）を、解析結果記憶部１４に記憶するとともに、ユーザの操作指示に従ってディスプレイに表示する（Ｓ２０）。なお、端末１は、評価結果と解析画像とを受信し、解析結果記憶部１４に記憶して、解析結果画面を生成することとしてもよい。

【0066】

ユーザは、解析結果画面を見ることで、現時点の自身のシミやシワの客観的な状態および評価を把握することができる。また、ユーザが自身の顔画像を肌解析装置２に送信する度に、肌解析装置２から送信されるシミおよびシワの解析画像および評価結果が履歴として端末１の解析結果記憶部１４に蓄積されることで、自身の肌状態の経年変化を閲覧することができ、また、スキンケア商品の効果を実感することができる。

【0067】

以上説明した本実施形態の肌解析装置２は、端末１から送信されるデジタル画像に含まれる顔の所定の部位を基準として、デジタル画像の解析対象範囲を特定し、解析対象範囲からエッジを検出して、当該エッジをシミまたはシワとしてデジタル画像に設定した解析画像を生成し、端末１に送信する。

【0068】

これにより、本実施形態では、エステサロンや美容皮膚科に行って、専用の機器でシミやシワを測定し、専門家による診断を受けることなく、ユーザが手軽に自身のシミまたはシワの状態を自分自身で確認し、客観的な評価を得ることができる。すなわち、ユーザは、自分の好きなタイミングで、好きな場所にいながらにして、気軽に自身の肌の状態の客観的な状態をチェックすることができる。また、本実施形態では、ユーザは、ネットワークを介して自身の解析結果を取得するため、誰にも知られることなく、また、短時間に、シミまたはシワの状態を知ることができる。

【0069】

また、本実施形態では、スマートフォンなどの端末１を用いて自身の顔の画像を撮影するが、撮影する際に、顔の大きさおよび位置を示す枠を表示する、所定の条件を満たしている場合にのみユーザの撮像指示を受け付けるなどの撮影支援を行うことで、端末１でユーザ自ら撮影する顔をできる限り良質な画像とし、肌解析の精度を向上させることができる。

【0070】

また、本実施系形態では、目、鼻、口を特定する際に目間距離を測定し、当該距離を用いて端末１が撮影した顔画像を正規化する。これにより、端末１から送信されるデジタル画像の顔の大きさを一定にし、過去に解析したシミ・シワの解析結果と、現在のシミ・シワの解析結果とを適切に正しく比較することができる。

【0071】

また、本実施形態では、過去の解析画像および評価結果を記憶する解析結果記憶部２４、１４を備えることで、過去の評価結果と比較してユーザの肌を評価できるとともに、肌の経年変化を容易に知ることができる。

【0072】

また、本実施形態では、年代毎のエッジの数またはエッジの面積の平均と比較してユーザの肌を評価する。他のユーザの平均値と比較して評価することにより、ユーザは、同年代の中で、自身の肌の客観的な評価データを得ることができる。

【0073】

また、本実施形態では、評価結果に適したスキンケア商品の表品情報をユーザに提示する。これにより、ユーザは、自身の肌タイプに適した商品を容易に知ることができ、肌解析装置２の肌解析サービスを、繰り返し利用するモチベーションを高めることができる。

【0074】

また、本実施形態では、評価結果に適した商品のサンプルを、有料会員のユーザに送付する。これにより、有料会員のユーザは、自身の肌タイプにあった商品を実際に使用することができ、その商品の効果を実感できるとともに、商品の使用後に自身の顔画像を肌解析装置２に送信することで商品の効果を客観的に確認することができ、肌解析装置２の肌解析サービスを、繰り返し利用するモチベーションを高めることができる。

【0075】

なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

【符号の説明】

【0076】

１ ：端末
１１：カメラ部
１２：制御部
１３：表示部
１４：解析結果記憶部
２ ：肌解析装置
２１：部位特定部
２２：シミ・シワ検出部
２３：評価部
２４：解析結果記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】