知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-14
(45)【発行日】2025-02-25
(54)【発明の名称】肌状態測定システム
(51)【国際特許分類】
A61B 5/00 20060101AFI20250217BHJP
【ＦＩ】
A61B5/00 M
【請求項の数】
1
(21)【出願番号】P 2021038239
(22)【出願日】2021-03-10
(65)【公開番号】P2022138384
(43)【公開日】2022-09-26
【審査請求日】2023-12-25
(73)【特許権者】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】100099634
【弁理士】
【氏名又は名称】平井 安雄
(72)【発明者】
【氏名】赤松 章
(72)【発明者】
【氏名】助田 裕史
(72)【発明者】
【氏名】三浦 健吾
(72)【発明者】
【氏名】青山 和明
(72)【発明者】
【氏名】田端 邦裕
(72)【発明者】
【氏名】河原 健介
(72)【発明者】
【氏名】今津 龍也
(72)【発明者】
【氏名】熱田 達彦
(72)【発明者】
【氏名】古畑 智美
【審査官】村田 泰利
(56)【参考文献】
【文献】特開２００２－０４１８３１（ＪＰ，Ａ）
【文献】米国特許出願公開第２００６／００９２３１５（ＵＳ，Ａ１）
【文献】特開２０１５－１４４９０２（ＪＰ，Ａ）
【文献】特開２０１４－０６１０５７（ＪＰ，Ａ）
【文献】中国特許出願公開第１１０９０９５６６（ＣＮ，Ａ）
【文献】肌の画像解析における顔の特徴を正確に捉えるＡＩ技術を開発，株式会社シーボン，2020年03月11日，https://www.cbon.co.jp/corporate/release/C'BON20200311_2020DIA_PresentationReport_release.pdf
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ５／００－５／０１
ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）
(57)【特許請求の範囲】
【請求項1】
ユーザーの身体所定範囲の肌を撮像可能な第一の撮像手段と、前記身体所定範囲より狭いユーザーの肌の所定部位を撮像可能な第二の撮像手段と、
前記第一の撮像手段の撮像で得られる前記身体所定範囲の肌画像データ、及び、前記第二の撮像手段の撮像で得られる前記所定部位の肌画像データに基づいて、肌状態に関する情報を取得する制御部とを備え、
前記第二の撮像手段が、前記第一の撮像手段よりユーザーに近い位置で撮像可能とされ、第一の撮像手段より撮像対象の単位面積あたりの解像度が高い画像データを取得可能とされ、
前記制御部が、前記身体所定範囲の肌画像データ、及び、前記所定部位の肌画像データを解析して、前記肌状態に関する情報としての、ユーザーの前記身体所定範囲の肌状態の診断情報を取得するように構成され、
前記制御部が、前記第二の撮像手段の撮像で得られる前記所定部位の肌画像データに基づいて、肌の前記所定部位の肌状態に関する情報を取得した上で、肌状態に関する情報として、前記所定部位の肌状態に関する情報を基準とした前記身体所定範囲各部の相対的肌状態の情報を取得することを
特徴とする肌状態測定システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザーの肌状態に係る情報をユーザーに対し提供可能とする、肌状態測定システムに関する。
【背景技術】
【0002】
肌状態の測定装置や分析用機器が設置された店舗で、顧客の肌状態を測定し、測定データを分析してその分析結果を取得し、分析結果で示される肌状態に対応するスキンケア用化粧品や美容器具を顧客に薦め、販売するサービスは、以前から行われていた。
【0003】
これに対し、近年、ユーザーの個人使用可能な小型で安価な装置を用いて、ユーザーの肌状態をセンサで検出し、得られたデータに基づいて、肌の状態を診断し、その診断結果を表示等で出力したり、診断結果に基づいて電子的なトリートメントを設定し実行するシステムが提案されている。
こうした従来の肌状態の診断等を行うシステムの例として、特開２００４－１４１２５９号公報に開示されるものがある。
こうした従来の肌状態の診断等を行うシステムの例として、特開２００４－１４１２５９号公報に開示されるものがある。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００４－１４１２５９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の肌状態の診断等を行うシステムは、前記特許文献に示される構成とされており、ユーザーの肌にセンサを接触させて、このセンサの接触した範囲の肌について、センサで検出された肌の状態を診断し、診断結果を出力することで、ユーザーが自身の肌の状態に応じて、適切なトリートメントの種類やその実行時間を選択できるとされるものであった。
【0006】
しかしながら、前記従来のシステムにおいては、肌状態を把握したい肌の領域に対して、センサの検出範囲が小さく、センサの検出対象となる肌が領域全体の一部にとどまるため、通常は肌状態を把握したい肌の領域の一部についてのみ検出を行わざるを得ず、検出結果に基づく診断は肌の領域全体の肌状態を反映したものとはならないことで、診断の正確性確保が難しいという課題を有していた。
【0007】
本発明は前記課題を解消するためになされたもので、ユーザーの肌状態に係るデータを複数の撮像手段での各撮像により取得し、複数通りの肌画像データに基づいてユーザーに示されるユーザーの肌状態に関する情報の質を向上させられる肌状態測定システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の開示に係る肌状態測定システムは、ユーザーの身体所定範囲の肌を撮像可能な第一の撮像手段と、前記身体所定範囲より狭いユーザーの肌の所定部位を撮像可能な第二の撮像手段と、前記第一の撮像手段の撮像で得られる前記身体所定範囲の肌画像データ、及び、前記第二の撮像手段の撮像で得られる前記所定部位の肌画像データに基づいて、肌状態に関する情報を取得する制御部とを備えるものである。
【0009】
このように本発明の開示によれば、第一の撮像手段でユーザーの身体所定範囲を撮像すると共に、第二の撮像手段でユーザーの肌の所定部位を撮像して、それぞれ得られた前記身体所定範囲の肌画像データと、前記所定部位の肌画像データとに基づいて、制御部がユーザーの肌状態に関する情報を取得することにより、肌についての画像データを分析して肌状態に関する情報を導くにあたり、複数通りの撮像で得られた画像データに基づく、ユーザーの肌状態に関する情報の質を向上させられ、肌状態の表示や分析等の処理を高い精度で行え、肌状態の診断を適切且つ効率よく進めて、ユーザーに肌状態をより正確に把握させられる。
【0010】
また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記第二の撮像手段が、前記身体所定範囲と重なる肌の所定部位を撮像するものである。
【0011】
このように本発明の開示によれば、第二の撮像手段で撮像するユーザーの肌の所定部位が、第一の撮像手段で撮像するユーザーの身体所定範囲に重なるようにして、ユーザーの身体所定範囲における同じ所定部位について二通りの肌画像データを得ることにより、異なる撮像手段で得られた各画像データにおける共通する所定部位から、各画像データ同士の関係性を把握でき、重なる部位以外の身体所定範囲各部の詳細な肌状態も類推できるなど、各画像データを用いた解析で肌状態に関する情報を詳細に取得でき、こうした肌状態に関する情報からユーザーにその肌状態を正しく把握させられ、肌に関するユーザーの適切なケア等の対応をより一層促せる。
【0012】
また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記第二の撮像手段が、前記身体所定範囲とは重ならない肌の所定部位を撮像するものである。
【0013】
このように本発明の開示によれば、第二の撮像手段で撮像するユーザーの肌の所定部位が、第一の撮像手段で撮像するユーザーの身体所定範囲には重ならず、ユーザーの身体所定範囲とこの範囲から外れた肌の所定部位との二つの肌画像データを得ることにより、この二つの肌画像データの比較対照で肌状態に関する情報を導くことができ、例えば、より狭い方の肌の所定部位の肌画像データに基づく肌状態を基準として、身体所定範囲の肌画像データに基づく身体所定範囲各部の肌状態との比較を行うようにすれば、相対的な肌状態を判定できるなど、二つの肌画像データを用いての解析で肌状態に関する情報を容易に取得でき、ユーザーにその肌状態を確実に把握させて、前記身体所定範囲の肌に関するユーザーの適切なケア等の対応をより一層促せる。
【0014】
また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記第一の撮像手段による前記身体所定範囲の撮像と、前記第二の撮像手段による肌の前記所定部位の撮像とが、異なるタイミングで実行されるものである。
【0015】
このように本発明の開示によれば、第一の撮像手段によるユーザーの身体所定範囲の撮像と、第二の撮像手段によるユーザーの肌の所定部位の撮像とを、それぞれ異なるタイミングで実行するようにして、各撮像手段をなす装置が同時にユーザーの周囲に存在して撮像を各々実行する必要性をなくすことにより、同時撮像のために撮像手段を装置として個別に配置する必要性をなくし、例えば、撮像手段をまとめて設けた撮像装置で各撮像対象を順次撮像するなど、装置の使い回しが可能となり、撮像装置の数を必要最小限にして装置コストを抑えられる。
【0016】
また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記第一の撮像手段と前記第二の撮像手段が、所定の一の端末装置に配設されるものである。
【0017】
このように本発明の開示によれば、第一の撮像手段を、第二の撮像手段と共に一の端末装置に設けて、一つの端末装置で第一の撮像手段と第二の撮像手段をそれぞれ用いて撮像を実行できることにより、ユーザーにおける前記身体所定範囲の肌の撮像と、肌の前記所定部位の撮像を一つの端末装置で対応でき、撮像装置を一つのみとして撮像に係るコストを抑えられる。
【0018】
また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記第一の撮像手段が、前記身体所定範囲の肌を撮像する状態と、前記所定部位を撮像する状態とを切替可能とされて、前記第二の撮像手段を兼ねるものである。
【0019】
このように本発明の開示によれば、前記身体所定範囲を撮像する状態と前記所定部位を撮像する状態とを切替えられる第一の撮像手段を用いて、この第一の撮像手段で第二の撮像手段を兼ねるようにし、一つの端末装置における一つの撮像手段で前記身体所定範囲と前記所定部位の各撮像を行って各々の画像データを取得することにより、撮像を必要最小限の構成で行うことができ、肌状態に係る情報の取得を低コストで行える。
【0020】
また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記第一の撮像手段が、ユーザーの端末装置の一部として、又は、ユーザーの端末装置に接続されて、ユーザーの少なくとも前記身体所定範囲を撮像する所定の撮像装置であり、撮像で得られる画像データを他者の端末装置に送信可能とされ、前記ユーザーの端末装置と前記他者の端末装置間で通信が行われて、送信されたユーザーの画像データに基づいて他者の端末装置で前記身体所定範囲を含むユーザーの画像が表示される一方で、前記制御部が、前記第一の撮像手段の撮像で得られる前記身体所定範囲の肌画像データ、及び、前記第二の撮像手段の撮像で得られる前記所定部位の肌画像データに基づいて、肌状態に関する情報を取得するものである。
【0021】
このように本発明の開示によれば、ユーザーの端末装置の一部、又はこの端末装置に接続されるものである撮像装置をなす第一の撮像手段から、ユーザーの画像データを他者の端末装置に送信し、他者の端末装置でユーザーの画像を表示しつつ、制御部で前記身体所定範囲及び前記所定部位の各肌画像データに基づいて肌状態に関する情報を取得し、ユーザーの端末装置と他者の端末装置との通信で、場合によってはユーザーの画像だけでなく、肌状態に関する情報を取り扱い可能とすることにより、ユーザーの端末装置と他者の端末装置との間で、画像表示を伴う通信、例えばビデオ通話等を行いながら、ユーザーの肌状態に関する情報を参照可能として、他者の端末装置でユーザーの画像表示を行い、ユーザーと通信によるコミュニケーションを行いながら、肌状態に関する情報を活用できる。
【0022】
また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記第一の撮像手段が、他者の端末装置の一部として、又は、他者の端末装置に接続されて、ユーザーの少なくとも前記身体所定範囲を撮像する所定の撮像装置であり、前記第一の撮像手段で得られたユーザーの画像データが、他者の端末装置でユーザーの肌状態に関する情報の取得以外の主目的のために使用される中、前記制御部が、前記第一の撮像手段の撮像で得られる前記身体所定範囲の肌画像データ、及び、前記第二の撮像手段の撮像で得られる前記所定部位の肌画像データに基づいて、肌状態に関する情報を取得するものである。
【0023】
このように本発明の開示によれば、他者の端末装置の一部、又はこの端末装置に接続されるものである撮像装置をなす第一の撮像手段でユーザーを撮像して、ユーザーの画像データを他者の端末装置で所定の目的に使用しつつ、制御部で第一の撮像手段からの前記身体所定範囲の肌画像データ及び第二の撮像手段からの前記所定部位の肌画像データに基づいて肌状態に関する情報を取得し、この肌状態に関する情報を利用可能とすることにより、他者の端末装置と共に用いられる撮像装置で、例えば個人認証等の目的で撮像され取得された画像データを肌診断に流用する形となり、第一の撮像手段を新たに用意する必要がなく、各画像データに基づいた肌状態に関する情報を低コストで効率よく取得できる。
【0024】
また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記第一の撮像手段が、ユーザーの端末装置の一部として、又は、ユーザーの端末装置に接続されて、ユーザーの少なくとも前記身体所定範囲を撮像する所定の撮像装置であり、前記第二の撮像手段が、ユーザーの操作により撮像を実行可能とされ、前記制御部が、前記第一の撮像手段の撮像で得られる前記身体所定範囲の肌画像データに基づいて、肌状態に関する情報を一旦取得すると共に、当該情報を用いて、前記第二の撮像手段で撮像すべき肌の所定部位を設定し、設定した当該所定部位の情報をユーザーの端末装置を通じてユーザーに報知し、前記制御部が、前記第二の撮像手段による肌の前記所定部位の撮像に伴って前記所定部位の肌画像データを得てから、前記身体所定範囲の肌画像データ、及び、前記所定部位の肌画像データに基づいて、あらためて肌状態に関する情報を取得するものである。
【0025】
このように本発明の開示によれば、ユーザーの端末装置の一部、又はこの端末装置に接続されるものである撮像装置をなす第一の撮像手段でユーザーを撮像して、得られたユーザーの前記身体所定範囲の肌画像データに基づいて、制御部が肌状態に関する情報を一旦取得し、さらにこの情報に基づいて第二の撮像手段で撮像すべき肌の所定部位を設定し、この所定部位の情報をユーザーの端末装置からユーザーに報知して、第二の撮像手段での肌の所定部位の撮像をユーザーに行わせるようにし、この第二の撮像手段の撮像で前記所定部位の肌画像データが得られたら、制御部があらためて肌状態に関する情報を取得して、この肌状態に関する情報を利用可能とすることにより、ユーザーの前記身体所定範囲の肌状態に応じて、第二の撮像手段で撮像しようとする肌の所定部位が設定されることとなり、シミ等の肌状態に問題があることや問題の予兆が見つかるなど、肌状態のより詳細な情報が必要な箇所をまず抽出して、該当の箇所を肌の前記所定部位として第二の撮像手段で撮像すると、得られた肌画像データを用いて、問題の箇所に着目した、より詳細な肌状態に関する情報を取得でき、肌状態をユーザーが適切に把握できる。
【0026】
また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記制御部が、前記第二の撮像手段の撮像で得られる前記所定部位の肌画像データに基づいて、肌の前記所定部位の肌状態に関する情報を取得した上で、肌状態に関する情報として、前記所定部位の肌状態に関する情報を基準とした前記身体所定範囲各部の相対的肌状態の情報を取得するものである。
【0027】
このように本発明の開示によれば、前記身体所定範囲と重ならない肌の所定部位を第二の撮像手段が撮像して、得られた前記所定部位の肌画像データに基づいて、制御部で肌の前記所定部位の肌状態に関する情報を取得し、さらに、制御部で、前記身体所定範囲の肌画像データに基づいた肌状態に関する情報を、前記所定部位の肌状態に関する情報を基準とした、前記身体所定範囲各部の相対的肌状態の情報として取得して、肌状態に関する情報を利用可能とすることにより、ユーザーの前記身体所定範囲の肌状態を、前記所定部位の肌状態を基準として相対的に示せることとなり、肌の所定部位を評価の基準に適した箇所、例えば、紫外線の影響をあまり受けず劣化度合いの小さい、腕の胴体寄りの面や顎の下面などの日光から隠れる部位とすれば、前記身体所定範囲各部の肌状態を基準の部位からの劣化度合いとして示すことができ、肌状態をユーザーが理解しやすい形であらわして、肌状態をユーザーがより的確に把握できる。
【0028】
また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記第一の撮像手段が、ユーザーの前方に位置する鏡面に映った前記身体所定範囲の鏡像を撮像し、前記第二の撮像手段が、ユーザーの肌の所定部位を前記第一の撮像手段による撮像と同時に撮像し、前記制御部が、前記第一の撮像手段による鏡像の撮像で得られる前記身体所定範囲の肌画像データ、及び、前記第二の撮像手段の撮像で得られる前記所定部位の肌画像データに基づいて、肌状態に関する情報を取得するものである。
【0029】
このように本発明の開示によれば、第一の撮像手段でユーザー前方の鏡面に映った鏡像を撮像して、前記身体所定範囲の肌画像データを取得し、これと同時に、第二の撮像手段による撮像で前記所定部位の肌画像データを取得して、各肌画像データから制御部で肌状態に関する情報を取得して、この肌状態に関する情報を利用可能とすることにより、各撮像手段での同時撮像で前記身体所定範囲の肌画像データと前記所定部位の肌画像データを一度に取得でき、撮像から肌状態に関する情報を得るまでの時間を短縮でき、撮像に係るユーザーの負担を軽減でき、肌状態に関する情報を得るための撮像等の活動の継続をユーザーに促せると共に、肌状態に関する情報が時間をかけずに得られ、ユーザーの肌状態を速やかに把握可能となる。
【0030】
また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記第一の撮像手段が、所定の端末装置における一の面に配設され、前記第二の撮像手段が、前記端末装置に配設され、端末装置における前記第一の撮像手段が前記鏡面に向けられた状態で、ユーザーの前記所定部位を撮像可能とされるものである。
【0031】
このように本発明の開示によれば、所定の端末装置における一の面に第一の撮像手段が配設されると共に、この第一の撮像手段が鏡面に向けられた状態で、ユーザーの前記所定部位を撮像可能として、第二の撮像手段が同じ端末装置に配設され、一つの装置でユーザーの前記身体所定範囲と前記所定部位の撮像に対応できることにより、端末装置の各撮像手段での撮像で前記身体所定範囲の肌画像データと前記所定部位の肌画像データをまとめて取得でき、撮像にあたってユーザーは各撮像手段を設けた端末装置のみを取り扱えばよく、撮像に係るユーザーの負担を大幅に軽減でき、肌状態に関する情報を得るための活動をユーザーが無理なく継続可能となる。
【0032】
また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記制御部が、設定した前記第二の撮像手段で撮像すべき肌の所定部位の情報を記録して、新たに前記第二の撮像手段で撮像すべき肌の所定部位を設定する際には、前記身体所定範囲の肌画像データに基づいて一旦取得した肌状態に関する情報を用いると共に、記録済みの所定部位の情報を参照して、前記身体所定範囲のうち所定部位として記録されていない箇所の中から、前記所定部位を設定するものである。
【0033】
このように本発明の開示によれば、第一の撮像手段の撮像で得られたユーザーの前記身体所定範囲の肌画像データに基づいて、制御部が肌状態に関する情報を一旦取得し、取得された情報に基づいて第二の撮像手段で撮像すべき肌の所定部位を設定するにあたり、こうした設定ごとに、設定された所定部位の情報を記録し、設定された所定部位の情報を後から参照可能として、記録済みの所定部位の情報が存在する場合には、前記第一の撮像手段での新たな撮像機会で、前記身体所定範囲の肌画像データに基づいて一旦取得した肌状態に関する情報に加えて、記録済みの所定部位の情報に基づいて、前記身体所定範囲のうち所定部位として記録されていない箇所の中から、前記第二の撮像手段で撮像すべき肌の所定部位を設定するようにして、ユーザーの前記身体所定範囲のうち未だ第二の撮像手段で撮像されていない箇所を、常に第二の撮像手段で撮像すべき肌の所定部位として撮像を行わせることにより、設定された肌の前記所定部位を第二の撮像手段で撮像すると、得られた肌画像データを用いて、新たな所定部位を中心とした詳細な肌状態に関する情報を取得でき、肌状態をユーザーが適切に把握できる。また、第一の撮像手段での撮像一回ごとに第二の撮像手段での撮像を複数回行う場合は、第二の撮像手段での撮像ごとに重複せず異なる部位の肌画像データを得て、肌画像データに基づく肌状態に関する情報をより詳細で且つ精度の高いものとすることができる。
【0034】
また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記制御部が、前記第二の撮像手段で撮像すべき肌の所定部位の情報と共に、当該所定部位の第二の撮像手段による撮像で得られた肌画像データを、当該肌画像データを得た日時を判別可能として記録し、前記制御部が、前記第一の撮像手段での新たな撮像機会で、前記第二の撮像手段で撮像すべき肌の所定部位を設定するのと並行して、記録済みの所定部位の情報及び肌画像データを参照して、データ取得日時がユーザーの肌のターンオーバー周期に対応する過去の所定期間に含まれる記録済みの前記所定部位の肌画像データと、撮像すべき部位に設定された肌の所定部位の第二の撮像手段による撮像で得られた前記所定部位の肌画像データと、前記身体所定範囲の肌画像データとに基づいて、肌状態に関する情報を取得するものである。
【0035】
このように本発明の開示によれば、制御部で設定した第二の撮像手段で撮像すべき肌の所定部位の情報を記録すると共に、その設定された所定部位の第二の撮像手段による撮像で得た肌画像データを記録して、新たに設定された肌の所定部位を第二の撮像手段で撮像して前記所定部位の肌画像データが得られた際に、記録済みの所定部位の情報、及び肌画像データを参照して、データ取得日時がユーザーの肌のターンオーバー周期に対応する過去の所定期間に含まれる前記所定部位の肌画像データを、新規の撮像と同じタイミングで撮像されたものと見なして、前記所定期間に取得された記録済みの前記肌画像データと、最新の撮像で得られた前記所定部位の肌画像データと、前記身体所定範囲の肌画像データとに基づいて、肌状態に関する情報を取得することにより、肌のターンオーバー周期に対応する所定期間内に第二の撮像手段での肌の所定部位の撮像を繰り返すごとに、所定部位の肌画像データが順次記録されて身体所定範囲の各部を広くカバーする状態が得られ、これらと前記身体所定範囲の肌画像データに基づいて取得された肌状態に関する情報は、ユーザーの肌状態を詳細且つ精度良く反映したものとなり、肌状態をユーザーが適切に把握できる。
【0036】
また、本発明の開示に係る肌状態測定システムは、必要に応じて、前記制御部が、前記第二の撮像手段で撮像すべき肌の所定部位の情報、及び当該部位の第二の撮像手段による撮像で得られた前記所定部位の肌画像データを記録する中、新たな撮像機会ごとに、ユーザーの肌のターンオーバー周期に対応する前記過去の所定期間より以前に取得された記録済みの肌画像データ、及び、当該肌画像データに対応する記録済みの前記所定部位の情報を、削除するものである。
【0037】
このように本発明の開示によれば、制御部が記録した肌画像データのうち、新たな撮像を行おうとする時点から肌のターンオーバー周期に対応する所定期間以前の肌画像データを削除することにより、第二の撮像手段での撮像で得られた肌画像データと共に、同じ肌状態にあると考えられる期間の肌画像データのみを用いて正確に肌状態に関する情報を導けると共に、記録量を制限して記録に係る負荷を抑えられる。
【図面の簡単な説明】
【0038】
【図1】本発明の第１の実施形態に係る肌状態測定システムにおける端末装置の概略構成図である。
【図2】本発明の第１の実施形態に係る肌状態測定システムのブロック構成図である。
【図3】本発明の第１の実施形態に係る肌状態測定システムにおける第二撮像部へのコンバージョンレンズ取付状態説明図である。
【図4】本発明の第１の実施形態に係る肌状態測定システムにおける第一撮像部の撮像直前の端末装置表示画面説明図である。
【図5】本発明の第１の実施形態に係る肌状態測定システムにおける第二撮像部の撮像直前の端末装置表示画面説明図である。
【図6】本発明の第１の実施形態に係る肌状態測定システムにおける第二撮像部による撮像状態説明図である。
【図7】本発明の第１の実施形態に係る肌状態測定システムにおける各撮像部での撮像に基づく肌状態の診断情報表示状態説明図である。
【図8】本発明の第１の実施形態に係る肌状態測定システムにおける新たな撮像機会での第二撮像部の撮像直前の端末装置表示画面説明図である。
【図9】本発明の第１の実施形態に係る肌状態測定システムにおける他の端末装置による撮像状態説明図である。
【図10】本発明の第２の実施形態に係る肌状態測定システムの概略構成図である。
【図11】本発明の第２の実施形態に係る肌状態測定システムにおける端末装置とサーバ間での情報送受信状態説明図である。
【図12】本発明の第２の実施形態に係る肌状態測定システムの第一の他例におけるユーザー及び他者の各端末装置とサーバ間での情報送受信状態説明図である。
【図13】本発明の第２の実施形態に係る肌状態測定システムの第二の他例における第一撮像部を有する他者の端末装置の撮像状態説明図である。
【図14】本発明の第２の実施形態に係る肌状態測定システムの第二の他例における各端末装置とサーバ間での情報送受信状態説明図である。
【図15】本発明の第３の実施形態に係る肌状態測定システムにおける第二撮像部による撮像状態説明図である。
【図16】本発明の第３の実施形態に係る肌状態測定システムの他例における各撮像部による撮像直前の端末装置表示画面説明図である。
【図17】本発明の第４の実施形態に係る肌状態測定システムにおける端末装置の使用状態説明図である。
【図18】本発明の第４の実施形態に係る肌状態測定システムのブロック構成図である。
【図19】本発明の第４の実施形態に係る肌状態測定システムにおける各撮像部による撮像状態説明図である。
【図20】本発明の第４の実施形態に係る肌状態測定システムにおける他の端末装置による撮像状態説明図である。
【発明を実施するための形態】
【0039】
（本発明の第１の実施形態）
以下、本発明の第１の実施形態に係る肌状態測定システムを前記図１ないし図９に基づいて説明する。
前記各図において本実施形態に係る肌状態測定システム１は、ユーザーの身体所定範囲の肌を撮像可能な前記第一の撮像手段としての第一撮像部１１と、前記身体所定範囲より狭いユーザーの肌の所定部位を撮像可能な前記第二の撮像手段としての第二撮像部１２と、第一撮像部１１の撮像で得られる前記身体所定範囲の肌画像データ、及び、第二の撮像部１２の撮像で得られる前記所定部位の肌画像データに基づいて、肌状態に関する情報を取得する制御部１３とを備えるものであり、これら第一撮像部１１、第二撮像部１２、及び制御部１３が一の端末装置１０に配設される構成である。
以下、本発明の第１の実施形態に係る肌状態測定システムを前記図１ないし図９に基づいて説明する。
前記各図において本実施形態に係る肌状態測定システム１は、ユーザーの身体所定範囲の肌を撮像可能な前記第一の撮像手段としての第一撮像部１１と、前記身体所定範囲より狭いユーザーの肌の所定部位を撮像可能な前記第二の撮像手段としての第二撮像部１２と、第一撮像部１１の撮像で得られる前記身体所定範囲の肌画像データ、及び、第二の撮像部１２の撮像で得られる前記所定部位の肌画像データに基づいて、肌状態に関する情報を取得する制御部１３とを備えるものであり、これら第一撮像部１１、第二撮像部１２、及び制御部１３が一の端末装置１０に配設される構成である。
【0040】
本実施形態においては、肌状態測定の対象者であるユーザーは、肌状態測定システム１を利用した肌状態診断のサービスを提供する事業者（以下では、提供事業者とする）との間で、肌状態診断のサービスを受ける契約を交わしている。
【0041】
これにより、ユーザーは、肌状態測定システム１を利用した肌状態診断を受けることができ、肌状態測定システム１による肌状態の診断結果を得られ、また必要に応じて診断結果に応じたアドバイス情報を得られるというメリットを享受できる。また、提供事業者は、ユーザーの肌状態に関するデータを取得でき、定められた提供者（例えば、提供事業者のスポンサー）が提供する肌ケア用品、又は、肌ケアサービスを、広告等を通じてユーザーに推奨することで、これらの肌ケア用品や肌ケアサービスについての販売促進効果を実現できるというメリットを享受できる。肌ケア用品とは、肌のケアに用いられる用品であり、例えば、化粧水、美容液、サプリメント、美顔器、洗顔器等である。肌ケアサービスとは、肌のケアを行うサービスであり、例えば、エステティックサービス等である。
【0042】
前記第一撮像部１１は、前記第一の撮像手段として、端末装置１０に配設され、ユーザーの肌状態の測定として、ユーザーの身体所定範囲、例えば、顔、を撮像可能とされるものである。
【0043】
前記第二撮像部１２は、前記第二の撮像手段として、第一撮像部１１と同じ端末装置１０に配設され、ユーザーの肌状態の測定として、ユーザーの前記身体所定範囲より狭い部位であって、この身体所定範囲と重なる、ユーザーの肌の所定部位、例えば、頬や額等の一部を、撮像可能とされるものである。
この第二撮像部１２は、コンバージョンレンズ１９を取り付けられることで、第一撮像部１１より撮像対象の単位面積あたりの解像度が高い画像データを取得可能とされる。
この第二撮像部１２は、コンバージョンレンズ１９を取り付けられることで、第一撮像部１１より撮像対象の単位面積あたりの解像度が高い画像データを取得可能とされる。
【0044】
第一撮像部１１と第二撮像部１２は、端末装置１０を通じたユーザーの操作により撮像を実行可能とされるものである。そして、第一撮像部１１による前記身体所定範囲の撮像と、第二撮像部１２による肌の前記所定部位の撮像とは、異なるタイミングで、且つ、撮像部と撮像対象との相対位置関係を異ならせて、それぞれ実行される。
【0045】
なお、第一撮像部１１及び第二撮像部１２はそれぞれユーザーの端末装置１０の一部としているが、これに限らず、第一の撮像手段と第二の撮像手段のいずれか一方、又は両方が、ユーザーの端末装置に接続されて、撮像を実行し、肌画像データを得る独立した撮像装置であってもかまわない。
【0046】
また、第二撮像部１２は、ユーザーの肌を撮像可能な、スマートフォン等の端末装置１０における複数のカメラ部のうちの一つとされ、肌の撮像に適したコンバージョンレンズ１９を装着して用いられる構成に限られるものではなく、スマートフォン等の端末装置における、直接肌の所定部位を撮像可能なカメラ部とされて、コンバージョンレンズを要しない構成とすることもできる。
【0047】
また、端末装置１０に、前記第一の撮像手段をなす第一撮像部１１と前記第二の撮像手段をなす第二撮像部１２をそれぞれ設ける構成としているが、この他、端末装置に、ユーザーの前記身体所定範囲の肌を撮像する状態と、前記所定部位を撮像する状態とを切替可能な撮像部を一つ設ける、すなわち、ユーザーの身体所定範囲の肌を撮像可能な前記第一の撮像手段である撮像部が、必要に応じ前記所定部位も撮像可能とされて、前記第二の撮像手段を兼ねる構成とすることもできる。
【0048】
また、前記第二の撮像手段をなす第二撮像部１２を、前記第一の撮像手段をなす第一撮像部１１と同じ端末装置１０に設ける構成としているが、この他、第二の撮像手段を第一の撮像手段とは別に設ける構成、例えば、第一の撮像手段をなすカメラ部のある端末装置に対し、第二の撮像手段をなすカメラ部を有する他の装置を併用する構成としてもかまわない。
【0049】
また、前記第二の撮像手段をなす第二撮像部１２が、前記第一の撮像手段をなす第一撮像部１１に対し、端末装置１０の異なる面に設けられる構成としているが、第二撮像部１２と第一撮像部１１を端末装置１０の同じ面に設ける、言い替えると、端末装置の同じ面に設けられる複数の撮像部のいずれかを第一の撮像手段とし、他を第二の撮像手段とするようにしてもよい。
【0050】
また、前記第二の撮像手段をなす第二撮像部１２が、前記第一の撮像手段をなす第一撮像部１１での撮像の場合よりユーザーに近い位置で撮像可能とされ、第二撮像部１２を端末装置１０ごとユーザーに近付けるか、ユーザーが第二撮像部１２に近付いて、第二撮像部１２と肌の前記所定部位との間隔が所定値に達すると、第二撮像部１２が肌の前記所定部位の撮像を自動実行する構成とすることもできる。
【0051】
この他、第一撮像部１１と第二撮像部１２のそれぞれに連動して光を照射する一又は複数の照明手段を設け、第一撮像部１１による身体所定範囲の撮像時に対応した照明と、第二撮像部１２による所定部位の撮像時に対応した照明をそれぞれ実行する構成とすることもできる。さらに、第二撮像部１２に対応した照明手段では、ユーザーの前記所定部位の撮像時に、ユーザーの肌のキメを検出するための照明として無偏光の光照射を行う一方、ユーザーの肌のシミを検出するための照明として直線偏光の光照射を行う構成とすることもできる。
【0052】
こうして第二撮像部１２の照明として無偏光と直線偏光の各光照射を使い分けて撮像を行うことで、肌のキメ検出とシミ検出を適切に行える。この他、照明として円偏光の光照射を行う構成としてもよく、具体的には、右回りの円偏光の場合を肌のキメ検出に、左回りの円偏光の場合を肌のシミ検出にそれぞれ対応した照明とすることができる。この他、照明として照射する光の色（波長）を肌のキメ検出とシミ検出にそれぞれ対応させるようにしてもよく、例えば、キメ検出用に肌色光、シミ検出用に白色光をそれぞれ照明として照射可能な光源を第二撮像部１２と連動可能として備える構成とすることもできる。
【0053】
前記端末装置１０は、前記第一撮像部１１及び第二撮像部１２を有して、ユーザーの身体所定範囲、及び、前記所定部位を撮像し、肌画像データを取得可能な装置とされると共に、前記制御部１３を有するものである。
【0054】
この端末装置１０は、ＩＰ通信網と接続して通信するための無線通信手段１４を有する携帯電話やいわゆるスマートフォン、タブレット装置などの公知の携帯型端末装置であり、このうち、装置上でアプリケーションプログラムを実行可能であり、且つ、各種情報を表示可能な表示部１６を有するものである。そして、端末装置１０は、二つのカメラ部を備えて、これらを前記第一撮像部１１や第二撮像部１２として機能させられる仕組みである。
【0055】
端末装置１０の表示部１６は、ユーザーの少なくとも前記身体所定範囲を表す画像を表示可能とされるものである。この表示部１６は、タッチパネル式の表示デバイスであり、入力デバイスを兼ねる構成である。
【0056】
なお、端末装置１０は、あらかじめ格納したプログラムを実行することで、制御部１３としての機能や処理を実現する情報処理装置であって、前記第一撮像部１１や第二撮像部１２を備えて肌状態の測定を行えるものであれば、携帯型の装置に限られるものではなく、カメラ付きのノートタイプやデスクトップタイプ等のコンピュータであってもよい。
【0057】
この端末装置１０の制御部１３は、肌状態診断用のアプリケーションプログラムを用いて、撮像により得られた肌画像データを解析して診断情報を取得可能とされており、得られた診断情報をユーザーが参照できる。この場合、端末装置１０の制御部１３は、アプリケーションプログラムの実行により、取得した診断情報をコンテンツとして表示部１６に表示することで参照可能としている。
【0058】
前記制御部１３は、撮像により得られる肌の画像データ、すなわち、第一撮像部１１の撮像で得られる前記身体所定範囲の肌画像データと、第二撮像部１２の撮像で得られる前記所定部位の肌画像データとに基づいて、肌状態に関する情報を取得するものである。
【0059】
この制御部１３は、前記身体所定範囲の肌画像データ、及び、前記所定部位の肌画像データ、を解析して、肌状態に関する情報としての、ユーザーの前記身体所定範囲の肌状態の診断情報を取得するものである。こうして制御部１３が各肌画像データを解析してユーザーの肌状態の診断情報を取得する機能は、制御部１３が、アプリケーションプログラムにしたがって処理を実行することで実現するものである。
【0060】
制御部１３は、上記の処理として、ユーザーの肌を肌画像データに基づき評価して、ユーザーの肌状態を示す指標値を求める。例えば、制御部１３は、肌状態として、肌年齢、肌のキメの細かさ、肌の色白さの度合い、肌の毛穴の開き度合、肌のシミの量、肌の含有水分量（保湿の度合）、肌の含有油量等の項目の内の少なくとも１つを評価し、評価結果から肌状態を示す指標値を求める。
【0061】
本実施形態では、制御部１３は、第一撮像部１１及び第二撮像部１２で撮影した画像に対して所定の画像処理を行うことで、ユーザーの肌状態を示す指標値を求める。
例えば、制御部１３は、撮影した画像に対するエッジ検出を行い、画像中の皮溝を検出し、検出した皮溝で囲まれた皮丘の領域を特定し、特定した皮丘の領域の大きさが小さく、均一さが一定に近いほど大きい値となるような指標値を、肌のキメの細かさを示す指標値（肌状態を示す指標値）として求める。
例えば、制御部１３は、撮影した画像に対するエッジ検出を行い、画像中の皮溝を検出し、検出した皮溝で囲まれた皮丘の領域を特定し、特定した皮丘の領域の大きさが小さく、均一さが一定に近いほど大きい値となるような指標値を、肌のキメの細かさを示す指標値（肌状態を示す指標値）として求める。
【0062】
本実施形態では、制御部１３は、診断結果がユーザーの肌状態を示す指標値として得られたことを示す情報を診断情報として決定する。そして、制御部１３は、取得された診断情報を、表示部１６の表示コンテンツとして、表示部１６で適切に表示できるようにする制御を行う。例えば、制御部１３は、診断結果のうちユーザーの肌状態を示す一部指標値についてグラフを作成し、これを表示コンテンツとして表示部１６に表示させることができる。
【0063】
また、制御部１３は、端末装置１０上で、肌状態、肌ケア行為の情報、肌の画像、肌の撮像が行われた時期等の情報を含むデータを受け付け、受け付けた肌状態を示す指標値、肌ケア行為の情報、肌の画像、肌の撮像が行われた時期情報を対応付け、記録用の記録部１７に一旦記録し、この記録された肌状態の指標値と肌の撮像が行われた時期情報とに基づいて、ユーザーの肌状態を診断することもできる。
【0064】
具体的には、制御部１３は、記録部１７に記録された肌状態の指標値、肌状態測定が行われた時期情報に基づいて、肌状態の指標値の経時的な推移を特定し、特定した推移の態様に基づいて肌状態が改善したか否かを診断する。例えば、制御部１３は、処理直前のユーザーの肌の新陳代謝（ターンオーバー）にかかる期間（例えば、約２８日±１日～７日）における肌状態の指標値の経時的な推移を特定し、肌状態を診断する。
【0065】
また、制御部１３は、処理直前のユーザーのターンオーバーにかかる期間と異なる期間（例えば、処理直前の定められた長さの期間（例えば、１週間、１０日間、１カ月間等）、指定された期間等）における肌状態の指標値の経時的な推移を特定し、肌状態を診断してもよい。
【0066】
制御部１３は、肌状態の指標値が経時的に肌状態の改善を示す方向に推移している場合、ユーザーの肌状態が改善したとの診断結果を与える。一方、制御部１３は、肌状態の指標値が経時的に肌状態の改善を示す方向に推移していない場合（劣化を示す方向に推移、変化しないような推移を示す場合）、ユーザーの肌状態が改善していないとの診断結果を与える。
【0067】
また、制御部１３は、肌状態の診断処理として、ユーザーの年齢等の属性を加味した診断処理を行うこととしてもよい。この他、制御部１３は、第二撮像部１２の撮像で得られた前記所定部位の肌画像データの解析に基づく診断情報の一部又は全部について、その診断の基準を第二撮像部１２で撮像する場所によって変更するようにしてもかまわない。
【0068】
制御部１３は、診断情報を示すグラフやテキストを含む画像を、端末装置１０の表示部１６に適切に表示されるようにする制御を行う。この他、制御部１３は、肌状態の推移を示す推移グラフ、肌画像である画像群、肌画像に対応する肌ケア行為の情報を示す行為情報群、所定の肌ケア用品又は肌ケアサービスの広告（リンク付き）を示す広告を含む画像を、表示部１６に適切に表示されるようにする制御を行うようにしてもよい。
【0069】
また、制御部１３は、診断情報の一部として、診断結果を示すコンテンツを作成し、それを端末装置１０から参照可能とするように、表示部１６に表示させるようにしてもよい。例えば、制御部１３は、保湿の度合、毛穴の開き度合、美白の度合、肌年齢（エイジング）それぞれについて肌状態の指標値を示すバーオブジェクトとを含むコンテンツを作成し、表示部１６に表示させるようにしてもよい。
【0070】
この他、制御部１３は、肌状態に関する他の情報として、第一撮像部１１の撮像で得られる前記身体所定範囲の肌画像データに基づいた、ユーザーの前記身体所定範囲の表示用画像と、第二撮像部１２の撮像で得られる肌の前記所定部位の肌画像データに基づいた、ユーザーの前記所定部位の表示用画像を取得するものである。
【0071】
制御部１３は、第一撮像部１１及び第二撮像部１２による新たな撮像がなされるごとに、撮像で得られる前記身体所定範囲や前記所定部位の肌画像データに基づいて、ユーザーの前記身体所定範囲や前記所定部位の表示用画像を取得し、この表示用画像を表示部１６に表示させることとなる。
【0072】
また、制御部１３は、前記身体所定範囲の表示用画像における肌の前記所定部位に対応する一部の情報に対し、前記所定部位の表示用画像を関連付けて、表示部１６での前記身体所定範囲の表示用画像の一部又は全部の表示と同時並行に、前記所定部位の表示用画像の表示を行わせることもできる。
【0073】
また、制御部１３は、前記身体所定範囲の画像データから導かれる身体所定範囲の表示用画像の一部又は全部に対し、前記所定部位の画像データから導かれる前記所定部位の表示用画像に基づいて、画像補正処理（例えば、色較正）を行うこともできる。
【0074】
さらに、制御部１３は、前記身体所定範囲の画像データから導かれる前記身体所定範囲の表示用画像に対し、この画像上における、第二撮像部１２による撮像の対象となる所定位置に、第二撮像部１２の撮像対象位置であることを示す所定の案内用図案部を合成する処理を実行し、処理後の画像を表示部１６に表示させることもできる。これにより、表示部１６に表示される前記身体所定範囲の表示用画像の一部として、前記案内用図案部が表示され、ユーザーがその身体所定範囲における第二撮像部１２で撮像すべき位置を視認して理解可能となる。
【0075】
また、制御部１３は、第一撮像部１１の撮像で得られる前記身体所定範囲の肌画像データに基づいて、肌状態に関する情報としてのユーザーの前記身体所定範囲の肌状態の診断情報を一旦取得すると共に、この診断情報を用いて、前記身体所定範囲に含まれる第二撮像部１２で撮像すべき肌の所定部位を設定するものである。制御部１３は、設定したこの所定部位の情報をユーザーの端末装置１０を通じてユーザーに報知することができる。
【0076】
そして、この所定部位の情報を参照したユーザーの操作に基づいた、第二撮像部１２による肌の前記所定部位の撮像に伴って、前記所定部位の肌画像データが得られると、制御部１３は、前記身体所定範囲の肌画像データ、及び、前記所定部位の肌画像データに基づいて、あらためて前記身体所定範囲の肌状態の診断情報を取得する仕組みである。
【0077】
制御部１３による第二撮像部１２で撮像すべき肌の所定部位の設定では、前記身体所定範囲としての顔の肌画像データに基づいて一旦取得した肌状態の診断情報からわかる、現状の顔全体像より、ＡＩを用いて撮像すべき肌の所定部位の提案を行わせるようにしてもよい。その場合、診断情報の他に、ユーザーの情報入力や、他のＩＯＴ機器との連携に基づく情報入力、あるいは、ネットワーク上のいわゆるビックデータへのアクセスにより、必要な情報を適宜入手することもできる。例えば、ユーザーにおける過去と現在のシワ、シミのでき方やそのでき方の傾向、シワ、シミの発生についての未来予測の他、日本人にシミ、シワができる箇所とその年齢の統計データを入手して用いることができる。また、ユーザーが住んでいる場所による統計データ（例えば、沖縄、北海道など）や、ＧＰＳに基づくユーザーが住んでいる地域の気象関連情報（例えば紫外線量、気温、湿度、天候等）を入手してもよい。さらに、ユーザーに関する情報として、ＧＰＳに基づいたユーザーが屋外と屋内のどちらでより多くいるか（割合）の情報や、ユーザーの生活習慣情報（例えば、睡眠、運動、入浴、ストレス等）、ユーザーの生体情報（血圧、体温、血流、心電等）、ユーザーの食生活の傾向（揚げ物を好む、野菜が嫌い等）、ユーザーが使用している化粧品やスキンケア装置等の情報、ユーザーに関連する遺伝情報（例えば、祖父母や両親のシミ、シワのできかた等）、ユーザーの肌の色、肌の温度など（紫外線曝露による一時的変化等も含む）、ユーザーの顔印象改善に係る情報（例えば、人相学、表情筋、笑顔など）、といった各種情報を入手して用いるようにしてもよい。
【0078】
ＡＩを用いた肌の所定部位の提案では、特に、様々な情報に基づいて、ユーザーに将来シミやシワが発生する可能性のある箇所（隠れシミを含む）を提案したり、ケア等で改善を図ると顔の印象が良くなる箇所を提案したり、ユーザーが数年後、数十年後の未来を美しい状態でいるために、現時点から改善を開始すると好ましい結果が期待できる箇所を提案することができる。
【0079】
この他、制御部１３は、第一撮像部１１の撮像で得られる前記身体所定範囲としての顔の肌画像データに基づいて、ユーザーの顔の肌状態の診断情報として、顔全体のシミ、シワ、クマ、ソバカス等を概略的に把握した段階で、ＡＩを用いてスキンケアやメイクアップの効果的な計画を提案する、例えば、ある部位のシミは化粧品でケアをする、他の部位のシミは直ぐには改善できないので当面はファンデーションで隠す、などの提案を行うようにしてもよい。
【0080】
制御部１３は、前記身体所定範囲の肌画像データに基づいて一旦取得した前記身体所定範囲の肌状態の診断情報を用いて、第二撮像部１２で撮像すべき肌の所定部位を設定した場合に、設定したこの所定部位の情報を記録する記録部１７を有する。
【0081】
記録部１７は、第二撮像部１２で撮像すべき肌の所定部位の情報に加えて、この所定部位の第二撮像部１２による撮像で得られた肌画像データを、この肌画像データが得られた日時を判別可能として記録するものである。
【0082】
制御部１３は、新たに第二撮像部１２で撮像すべき肌の所定部位を設定する際には、先に得た前記身体所定範囲の肌画像データに基づいて一旦取得した肌状態の診断情報を用いると共に、記録部１７に以前設定した所定部位の情報が記録されている場合には、この記録部１７に記録済みの所定部位の情報も参照して、前記身体所定範囲のうち所定部位として記録されていない箇所の中から、前記所定部位を設定する。
【0083】
第一撮像部１１での撮像一回あたりに、第二撮像部１２での撮像を複数回行い、複数の所定部位について肌画像データを得る場合には、第二撮像部１２での各撮像ごとに、撮像すべき肌の所定部位の設定が互いに重複しないようにして繰り返される。また、第二撮像部１２での各撮像ごとに、設定された所定部位の情報が、端末装置１０を通じユーザーに報知されると共に、次の設定に反映させるために記録部１７に記録されることとなる。
【0084】
また、制御部１３は、第一撮像部１１での新たな撮像機会で、第二撮像部１２で撮像すべき肌の所定部位を設定するのと並行して、記録部１７に記録済みの所定部位の情報、及び、この所定部位の肌画像データを参照する仕組みを有している。
【0085】
そして、制御部１３は、記録された前記所定部位の肌画像データのうち、データ取得日時がユーザーの肌のターンオーバー周期に対応する過去の所定期間に含まれる肌画像データを、新規の撮像と同じタイミングで撮像されたものと見なすようにしている。
【0086】
この場合、制御部１３は、前記所定期間に取得された記録済みの肌画像データと、この新たな撮像機会で設定された肌の所定部位の第二撮像部１２による撮像で得られた前記所定部位の肌画像データと、前記身体所定範囲の肌画像データとに基づいて、前記身体所定範囲の肌状態の診断情報（肌状態に関する情報）を取得することとなる。
【0087】
一方、制御部１３は、記録部１７に記録済みの所定部位の情報、及びこの所定部位の肌画像データのうち、データ取得日時が前記所定期間に含まれない、ユーザーの肌のターンオーバー周期を超えるような古い時点のものについては、第一撮像部１１での新たな撮像機会でのユーザーの肌とは肌のターンオーバーが重ならない時期のものであり、新規の撮像と同じタイミングで撮像されたものと見なせないとして、該当する前記所定部位の情報、及び所定部位の肌画像データを記録部１７から削除するようにしてもよい。
【0088】
次に、本実施形態に係る肌状態測定システムの使用状態について説明する。前提として、ユーザーの顔全体が第一撮像部１１で撮像される身体所定範囲とされ、これに含まれて第二撮像部１２により撮像される所定部位が、顔の肌の要部（頬、目元、口元など）である。そして、端末装置１０はスマートフォンであり、表示部１６のある側に設けられたカメラ部（いわゆるインカメラ）を第一撮像部１１として用いる一方、端末装置１０の表示部１６とは反対側に設けられたカメラ部（いわゆるアウトカメラ）を第二撮像部１２として用いて、それぞれ撮像を実行可能としている。所定部位を撮像する際には、端末装置１０における第二撮像部１２の前方にコンバージョンレンズ１９を取り付け、第二撮像部１２の撮像範囲を第一撮像部１１より狭くする一方、より高解像度で撮像を行えるようにして、前記所定部位として顔の極狭い範囲の肌を撮像する。
【0089】
端末装置１０の各撮像部を使用して撮像を行うために、まず、ユーザーによりコンバージョンレンズ１９が端末装置１０に取り付けられる。
ユーザーの操作で、あらかじめ端末装置に存在している、各撮像部を使用するためのユーザーインターフェイスを提供するアプリケーションプログラムを端末装置１０上で起動させると、端末装置１０を通じてユーザーが各撮像部を撮像に使用できる状態となる。
ユーザーの操作で、あらかじめ端末装置に存在している、各撮像部を使用するためのユーザーインターフェイスを提供するアプリケーションプログラムを端末装置１０上で起動させると、端末装置１０を通じてユーザーが各撮像部を撮像に使用できる状態となる。
【0090】
ユーザーが、端末装置１０上に表示されたユーザーインターフェイスに対し撮像開始の操作を行うと、端末装置１０の第一撮像部１１がユーザーの身体所定範囲としての顔の撮像を実行することとなる。
【0091】
詳細には、端末装置１０における、肌状態測定用のアプリケーションプログラムの実行により、表示部１６に表示されたユーザーインターフェイスに対し、ユーザーが操作を行うことで、まず、第一の撮像手段としての第一撮像部１１によるユーザーの顔の撮像が開始され、端末装置１０の制御部１３で画像データが継続的に取得される。この場合、端末装置１０の制御部１３は表示部１６による所定の案内表示等により、顔があらかじめ定められた向きと大きさで表示されるように端末装置１０を支持する状態をユーザーに維持させる。例えば、制御部１３は、顔が正しく撮像された状態で表示部１６の画面上において顔の輪郭を収めるような枠の画像を、第一撮像部１１の撮像画像と重ねて表示部１６に表示して、ユーザーが表示部１６を見ながら枠の画像を目安として、これに顔が収まるように第一撮像部１１と顔との相対位置関係の調整を行うよう促せる。
【0092】
第一撮像部１１でユーザーの顔が撮像されると、撮像で得られた画像データに基づいて、制御部１３が表示部１６に顔の画像を表示させる。制御部１３は表示部１６による所定の案内表示等により、顔があらかじめ定められた向きと大きさで表示されるように端末装置１０を支持する状態をユーザーに維持させる。
また、端末装置１０の第一撮像部１１でユーザーの顔が撮像されるのに伴い、撮像で得られた画像データに基づいて、表示部１６に顔の画像が表示される。
また、端末装置１０の第一撮像部１１でユーザーの顔が撮像されるのに伴い、撮像で得られた画像データに基づいて、表示部１６に顔の画像が表示される。
【0093】
ユーザーは表示部１６における顔の画像表示等を参考にして、身体所定範囲としての顔が第一撮像部１１によって適切に捉えられたと思われるタイミングで、端末装置１０のユーザーインターフェイスに対し所定の操作を行い、顔の静止画像を決定する。この決定した瞬間の顔の静止画像のデータが、第一撮像部１１の撮像で得られる前記身体所定範囲の肌画像データとして制御部１３で取り扱われることとなる。なお、ユーザーの操作によらず、身体所定範囲としての顔が第一撮像部１１によって適切に捉えられたタイミングに制御部１３で顔画像を自動決定するようにしてもよい。
【0094】
こうして第一撮像部１１による前記身体所定範囲としての顔の撮像に基づく肌画像データが確定状態になると、第二撮像部１２が肌の前記所定部位を撮像するのに適した状態に移行するようにしてもよい。
【0095】
制御部１３は、第一撮像部１１の撮像で得られた肌画像データに基づく顔の表示用画像を取得し、これを表示部１６に表示させつつ、肌画像データを解析し、ユーザーの顔の肌状態の診断情報を一旦取得する。
【0096】
また、制御部１３は、記録部１７における記録済みの情報を参照して、以前の撮像時において設定した前記所定部位の情報、すなわち、前記同様に一旦取得された顔の肌状態の診断情報等を用いて制御部１３が第二撮像部１２で撮像すべき肌の所定部位の設定を行った際に記録される、この設定された所定部位の情報が存在するか否かを判定する。
【0097】
以前に設定された所定部位の情報が記録されている場合、制御部１３は、記録された情報に基づいて、以前に所定部位として設定された箇所以外の前記身体所定範囲各部について、前記診断情報を用いて、例えば、肌の一部にシミ等が存在する兆候を見出したために、シミの有無の確認を要するなど、肌状態のさらなる適切な診断のために第二撮像部１２の撮像による詳細画像の取得が必要な部位を割出す。
【0098】
一方、ユーザーの肌の撮像の初回実行時など、以前に設定された第二撮像部１２で撮像すべき所定部位の情報が記録部１７に記録されていない場合には、制御部１３は、前記身体所定範囲全体について、先だって取得した顔の肌状態の診断情報を用いて、前記同様、肌状態のさらなる適切な診断のために第二撮像部１２の撮像による詳細画像の取得が必要な部位を割出す。
【0099】
制御部１３は、こうして割出した部位を、第二撮像部１２で撮像すべき所定部位に設定すると共に、設定したこの所定部位の情報を記録部１７に記録する。そして、制御部１３は、この所定部位について、例えば、第二撮像部１２の撮像対象となる顔上の所定部位を示す所定の案内用図案部（マーク）、を生成し、この案内用図案部を、顔の肌画像データに基づく顔の表示用画像に合成する処理を行い、合成済みの画像を表示部１６に表示させる（図５参照）。
この表示部１６を見てユーザーが第二撮像部１２で撮像すべき所定部位を認識し、これを撮像可能となるよう第二撮像部１２のある端末装置１０の位置調整を行うこととなる。
この表示部１６を見てユーザーが第二撮像部１２で撮像すべき所定部位を認識し、これを撮像可能となるよう第二撮像部１２のある端末装置１０の位置調整を行うこととなる。
【0100】
案内用図案部で第二撮像部１２の撮像対象位置を示す場合、前記身体所定範囲としての顔における第二撮像部１２で撮像すべき所定部位がユーザーに容易に理解可能となり、ユーザーが位置調整した端末装置１０の第二撮像部１２を用いて適切に撮像を実行可能となる。
【0101】
なお、制御部１３は、第二撮像部１２で撮像すべき所定部位を設定し、この所定部位を示す画像を顔の画像に合成して表示するのに代えて、ユーザーの前記身体所定範囲としての顔のうち、ユーザーが気になる部位を対象として、ユーザーが第二撮像部１２による撮像を行うよう、ユーザーに端末装置１０から案内表示や音声ガイド等を実行することもできる。あるいは、一般的に肌状態を測定されることの多い箇所をあらかじめ選定して初期測定位置として登録し、この初期設定位置である肌の一又は複数部位を示す所定の案内用図案部を、顔の表示用画像に合成する処理を行い、合成済みの画像を表示部１６に表示させるようにしてもよい。
【0102】
この場合も、ユーザーが顔の気になる任意の部位を認識したり、表示部１６に表示された前記案内用図案部で示される顔上の初期測定位置を見て確認した上で、これらを撮像可能となるよう第二撮像部１２のある端末装置１０の位置調整を行うこととなる（図６参照）。
【0103】
ユーザーは、手に持った端末装置１０を位置調整して、顔の前記所定部位等に第二撮像部１２が向いていると判断した際に、端末装置１０のシャッターボタン等のユーザーインターフェイスに対し所定の操作を行い、第二撮像部１２での撮像を行わせる。
【0104】
この他、ユーザーが第二撮像部１２を端末装置１０ごと前記所定部位に近付けるか、前記所定部位を第二撮像部１２に近付けるようにして、第二撮像部１２と肌の前記所定部位との間隔が所定値に達した際に、第二撮像部１２が肌の前記所定部位の撮像を自動的に行うようにしたり、撮像の最適なタイミングであることを端末装置１０から報知して、撮像に係るユーザーの端末装置１０の操作を促すようにしてもよい。
【0105】
こうして撮像を行う段階で、第二撮像部１２は、外部の光源（例えば、コンバージョンレンズの内蔵光源）又は端末装置１０の内蔵光源による所定の照明状況の下で肌の前記所定部位の撮像を行い、肌画像データを出力する。この肌画像データを、制御部１３が取得する。
【0106】
例えば、端末装置１０に取り付けられるコンバージョンレンズ１９の、照明として照射する光を調整可能な内蔵光源が、撮像対象の部位に対する光の照射状態を、第二撮像部１２の試行撮像で得られた肌画像の検証等を経て最適化された上で、第二撮像部１２での撮像が実行され、無偏光の光照射による照明下で肌を撮像したキメ診断用画像と、直線偏光の光照射による照明下で肌を撮像したシミ診断用画像の各画像データを、制御部１３で取得することができる。
【0107】
制御部１３は、取得した前記所定部位の肌画像データを、この肌画像データを得た日時を判別可能な状態で、先に記録した前記所定部位の情報と共に記録部１７に記録する。
ここで、第二撮像部１２での撮像をまとめて複数回行う場合には、第二撮像部１２での各撮像ごとに、記録部１７に記録された情報に基づいて、制御部１３で撮像すべき肌の所定部位が前回とは重複しないように設定され、端末装置１０を通じユーザーに報知される所定部位の情報に従った、ユーザーの操作による第二撮像部１２での撮像の実行が繰り返されることとなる。
ここで、第二撮像部１２での撮像をまとめて複数回行う場合には、第二撮像部１２での各撮像ごとに、記録部１７に記録された情報に基づいて、制御部１３で撮像すべき肌の所定部位が前回とは重複しないように設定され、端末装置１０を通じユーザーに報知される所定部位の情報に従った、ユーザーの操作による第二撮像部１２での撮像の実行が繰り返されることとなる。
【0108】
また、制御部１３は、以前に設定された所定部位の情報が記録部１７に記録されている場合、第二撮像部１２で撮像すべき肌の所定部位を設定し、この所定部位が第二撮像部１２で撮像されるのと並行して、記録部１７を参照し、データ取得日時がユーザーの肌のターンオーバー周期に対応する過去の所定期間に含まれる所定部位の肌画像データを、第二撮像部１２による新規の撮像と同じタイミングで撮像されたものと見なす。
【0109】
そして、制御部１３は、第二撮像部１２から肌の前記所定部位の肌画像データを取得後、この肌画像データと、これと同じタイミングで撮像されたと見なした、前記所定期間に取得された記録済みの所定部位の肌画像データと、先に取得した第一撮像部１１の撮像で得られた顔の画像データとを解析して、ユーザーの前記身体所定範囲としての顔の肌状態の診断情報を取得する。
【0110】
なお、以前に設定された所定部位の情報が記録部１７に記録されていない場合には、制御部１３は、第二撮像部１２から肌の前記所定部位の肌画像データを取得後、この肌画像データと、先に取得した第一撮像部１１の撮像で得られた顔の肌画像データとを解析して、ユーザーの顔の肌状態について正式な診断情報を取得する。
【0111】
そして、制御部１３は、顔の肌状態の診断情報を、顔の画像と同時並行に、又は顔の画像と置き換えて、表示部１６に表示させる（図７参照）。
こうした表示部１６における顔の肌状態の診断情報の表示は、テキストベースの情報表示に限られるものではなく、肌の注意すべき部位や症状を顔画像上でマーキング画像等で具体的に示して情報提供することもできる。例えば、第二撮像部１２で得た精細な画像データから解析された診断情報として導かれた隠れジミの位置や大きさを、顔画像上の対応部位に重ねた所定色のマークで示すことができ、シミ対策など肌のケアを実行する際に参考情報として活用可能となる。
このような診断情報の表示により、第一撮像部１１と第二撮像部１２による一回の肌状態測定としての撮像が完了となる。
こうした表示部１６における顔の肌状態の診断情報の表示は、テキストベースの情報表示に限られるものではなく、肌の注意すべき部位や症状を顔画像上でマーキング画像等で具体的に示して情報提供することもできる。例えば、第二撮像部１２で得た精細な画像データから解析された診断情報として導かれた隠れジミの位置や大きさを、顔画像上の対応部位に重ねた所定色のマークで示すことができ、シミ対策など肌のケアを実行する際に参考情報として活用可能となる。
このような診断情報の表示により、第一撮像部１１と第二撮像部１２による一回の肌状態測定としての撮像が完了となる。
【0112】
これ以降は、肌状態の推移を把握するために、ユーザーが所定間隔で前記同様の、第一撮像部１１による前記身体所定範囲としての顔の撮像と、第二撮像部１２による前記所定部位の撮像を繰り返し、制御部１３が得られた各肌画像データに基づく肌状態の診断情報を撮像ごとに取得し、表示部１６に表示させることとなる。
【0113】
こうした撮像等を繰り返す中、特に、制御部１３が設定した所定部位の情報を記録部１７に記録し、次回の撮像の際に記録済みの情報を参照して以前と重ならない新たな所定部位を設定する（図８参照）ことで、前記身体所定範囲としての顔の領域を、撮像ごとに第二撮像部１２の撮像で詳細な肌画像データを得た部位で徐々に埋めていく状態として、複数の高精度の肌画像データをマップ状に連続させられ、肌画像データに基づく肌状態の解析をより高い精度で行え、正確で信頼性の高い診断情報を導ける。ここで、第一撮像部１１での撮像一回あたりに、第二撮像部１２での撮像を複数回行う場合は、詳細な肌画像データで顔各部を網羅する状態が短期間（例えば、一週間程度）で得られることとなるが、そうした撮像行動がユーザーにとって負担となるようであれば、撮像を分散してユーザーの負担を軽減するようにしてもよい。例えば、一週間で第一撮像部１１での撮像と第二撮像部１２での撮像を一回行い、ある週では前記所定部位として頬を撮像し、その次の週では前記所定部位として額を撮像するなどして、撮像を毎週繰り返し、一ヶ月程度で第二撮像部１２での撮像が顔全体に及ぶようにすることもできる。
【0114】
なお、制御部１３は、第二撮像部１２で前記所定部位の撮像が行われるごとに、その所定部位の情報、及びこの所定部位の第二撮像部１２による撮像で得られた肌画像データを記録していく中、新たな撮像機会の時点で、記録部１７に記録されている各情報や肌画像データのうち、データ取得日時がユーザーの肌のターンオーバー周期に対応する過去の所定期間を超える古いものについては、この新たな撮像機会におけるユーザーの肌とは肌のターンオーバーが時期的に重ならないものと判断して、こうした古い情報や肌画像データを削除して、新たな記録が無理なく繰り返し行えるようにすることもできる。
【0115】
また、制御部１３で、第二撮像部１２による新たな撮像の際に、記録部１７に記録した情報を参照して、以前とは重ならない新たな所定部位を第二撮像部１２で撮像できるようにしているが、これに限らず、第一撮像部１１による前記身体所定範囲の撮像と、第二撮像部１２による前記所定部位の撮像を繰り返す中、第二撮像部１２で同じ所定部位を何度も繰り返し撮像する構成とすることもでき、制御部１３で肌の同じ部位に着目した肌画像データに基づいて得られた肌状態の診断情報や表示用画像から、特定部位における詳細な肌状態の推移を把握することができ、肌のケアによる改善度合い等を容易に確認可能となる。
【0116】
この場合、制御部１３は、繰り返される撮像で得られた肌画像データに基づく表示部１６への表示用の顔や前記所定部位の画像を、記録部１７に撮像ごとに記録し、必要に応じて画像を時系列で並べて一覧表示、又は時系列順に順次切替表示する構成とすることもでき、肌の変化をユーザーが容易に把握でき、好ましい。
【0117】
この他、前記身体所定範囲としての顔についての表示用の画像や肌状態の診断情報の基となる、第一撮像部１１の撮像で得られた顔の肌画像データは、第二撮像部１２で撮像を行う前の第一撮像部１１による撮像で得られた肌画像データであるが、これに代えて、制御部１３が第二撮像部１２から前記所定部位の肌画像データを取得後、この前記所定部位の肌画像データに基づいて、顔の肌画像データの画像補正処理を行った上で、この補正後の顔の肌画像データに基づく表示用の顔の画像を生成して、顔の画像を表示部１６に表示させるようにしたり、補正後の顔の肌画像データを前記所定部位の肌画像データと共に解析して、顔の肌状態の診断情報を取得するようにしてもかまわない。
【0118】
この場合、撮像範囲が限定されることで撮像の条件を整えやすい、第二撮像部１２の撮像に基づいた前記所定部位の画像データを基準として、前記身体所定範囲の画像データについて画像補正処理を行い、この画像データで示される身体所定範囲の肌の色味を、前記所定部位の画像データにおける肌のそれに合わせられることから、第一撮像部１１での撮像条件によらず、撮像で得られた前記身体所定範囲の画像データを、画像表示や肌状態の診断に係る解析を行いやすい状態にでき、ユーザーによる肌状態の正しい把握を促せることとなる。
【0119】
このように、本実施形態に係る肌状態測定システムは、第一撮像部１１でユーザーの身体所定範囲としての顔を撮像すると共に、第二撮像部１２でユーザーの顔における所定部位を撮像して、それぞれ得られた顔の肌画像データと、前記所定部位の肌画像データとに基づいて、制御部１３がユーザーの肌状態に関する情報を取得することから、肌画像データを分析して肌状態に関する情報を導くにあたり、複数通りの撮像で得られた肌画像データに基づく、肌状態の診断情報などのユーザーの肌状態に関する情報の質を向上させられ、肌状態の表示や分析等の処理を高い精度で行え、肌状態の診断を適切且つ効率よく進められると共に、得られる情報の信頼性も高められ、ユーザーに肌状態をより正確に把握させられる。
【0120】
また、第一撮像部１１を、第二撮像部１２と共に端末装置１０に設けて、一つの端末装置１０で第一撮像部１１と第二撮像部１２をそれぞれ用いて撮像を実行できることから、ユーザーにおける前記身体所定範囲としての顔の撮像と、顔の前記所定部位の撮像とを一つの端末装置１０で対応でき、撮像に用いる装置を一つのみとして撮像に係るコストを抑えられる。
【0121】
なお、前記実施形態に係る肌状態測定システムにおいて、制御部１３では、撮像すべき肌の所定部位として端末装置１０から示された箇所をユーザーが第二撮像部１２で正しく撮像することを前提として、この第二撮像部１２で撮像された画像を、設定された所定部位の画像と認定するようにしているが、この他、制御部で、第一撮像部の撮像で得られた前記身体所定範囲の画像において、第二撮像部で撮像された画像にあらわれる特徴（例えば、肌のキメやシミ等の特徴的部分の形状）と共通する特徴を有する部位を抽出して、そうした部位を前記所定部位とすると共に、第二撮像部で撮像された画像を前記所定部位の画像と認定することもでき、第二撮像部で撮像された画像について、前記身体所定範囲における位置を正しく特定して、画像データに基づく肌状態に関する情報を正確なものとすることができる。そして、このように制御部が第二撮像部で撮像すべき肌の所定部位の設定を特に行わない場合には、第二撮像部での撮像は、第一撮像部での撮像に対し後でも先でもかまわない。
【0122】
また、前記実施形態に係る肌状態測定システムにおいては、第一撮像部１１、第二撮像部１２、及び制御部１３を、スマートフォン等の携帯型の端末装置１０に設ける構成としているが、これに限らず、あらかじめ格納したプログラムを実行することで、制御部１３としての機能や処理を実現する情報処理装置であって、前記第一撮像部１１や第二撮像部１２を備えて肌状態の測定を行えるものであれば、端末装置は、携帯型の装置に限られるものではなく、カメラ付きのノートタイプやデスクトップタイプ等のコンピュータであってもよい。また、端末装置は、美容等の特定用途に特化した他の情報処理装置、例えば、鏡台や化粧、美容用の卓上鏡におけるミラー部（ハーフミラー）に、カメラやディスプレイを組み込んで、通常の鏡としての使用の他に、カメラで撮像したユーザーの画像やこれに処理を加えた画像、ユーザーの画像を分析して得た情報等を必要に応じて鏡面上に表示可能とされる電子機器、でもかまわない。
【0123】
こうしたミラー部５５を有する端末装置５０の場合、図９に示すように、第一撮像部５１や第二撮像部５２をなす複数のカメラ部、又は、第一撮像部と第二撮像部を兼ねるカメラ部を、いずれもユーザーに正対する向きとして、ミラー部５５の上部に設けることもできる。また、第一撮像部５１や第二撮像部５２と共に、撮像時の照明用光源５３を設けるようにしてもよく、特に、第二撮像部５２の近傍には、前記所定部位の撮像時に、ユーザーの肌のキメを検出するための照明として無偏光の光照射を行う状態と、ユーザーの肌のシミを検出するための照明として直線偏光の光照射を行う状態とを切替可能な光源部や、肌のキメ検出用に右回りの円偏光の光照射を行う状態と、肌のシミ検出用に左回りの円偏光の光照射を行う状態とを切替可能な光源部を、設ける構成とすれば、照明として、無偏光と直線偏光、又は、右回りの円偏光と左回りの円偏光の、各光照射を使い分けて第二撮像部５２での撮像を行うことで、肌のキメ検出とシミ検出を適切に行え、好ましい。
【0124】
そして、第一撮像部５１や第二撮像部５２のあるミラー部の上部には、第一撮像部や第二撮像部を覆って周囲からの不要な光の入射を遮断するフード５４を設けるようにしてもよい。こうしたフード５４は、第一撮像部５１や第二撮像部５２の近傍に撮像時の照明用光源５３が設けられる場合に、照明光をユーザー側に進行させる反射板として利用することもできる。
【0125】
また、フード５４を設ける場合、フードの大きさを、ユーザーの顔の一部（例えば、額など）がフード先端に触れると、ユーザーの前記身体所定範囲としての顔が第一撮像部５１に対しこれによる撮像に適した位置関係となるよう設定したり、ユーザーの前記所定部位又はその近傍の肌がフード先端に触れると、ユーザーの前記所定部位が第二撮像部５２に対しこれらでの撮像に適した位置関係となるよう設定することもできる。
【0126】
こうした端末装置５０において、第二撮像部５２で撮像を実行する場合、第一撮像部５１での撮像の場合より狭い範囲を精細に撮像する関係上、合焦状態となる撮像部と撮像対象との距離が通常は第一撮像部５１の場合より短くなることから、ユーザーは端末装置５０に第二撮像部５２での撮像対象となる前記所定部位を近付けることが必要となる。第二撮像部５２での撮像を容易にするために、端末装置５０とユーザーとの間隔を端末装置５０の所定の測定手段で測定し、ユーザーが端末装置５０に前記所定部位を近付けて第二撮像部５２に対し撮像に適した間隔となった際に、第二撮像部５２による撮像を実行する構成としたり、撮像に際して端末装置５０とユーザーとの間隔が遠すぎたり近すぎたりした場合には、ユーザーに対し端末装置５０の報知手段を通じて、端末装置５０に対して近付く側や離れる側に移動して適正な間隔をとるよう促す報知を行う構成とすることもできる。また、ユーザーが第一撮像部５１と第二撮像部５２の各撮像ごとにユーザーと端末装置５０との間隔を変えるよう身体を動かさずに済むように、第一撮像部５１と第二撮像部５２の各合焦状態における端末装置５０とユーザーの撮像対象部分との間隔が同じになるよう設定する構成としてもよく、この場合第一撮像部５１と第二撮像部５２で同時に撮像を実行でき、撮像に係るユーザーの負担を減らせる。
【0127】
（本発明の第２の実施形態）
本発明の第２の実施形態に係る肌状態測定システムを前記図１０及び図１１に基づいて説明する。
前記各図において本実施形態に係る肌状態測定システム２は、前記第１の実施形態同様、第一撮像部２１と、第二撮像部２２と、制御部９３とを備える一方、異なる点として、第一撮像部２１及び第二撮像部２２が端末装置２０に配設される一方、この端末装置２０とネットワーク１００を通じてデータ通信可能として設けられるサーバ９０に、制御部９３が配設される構成を有するものである。
本発明の第２の実施形態に係る肌状態測定システムを前記図１０及び図１１に基づいて説明する。
前記各図において本実施形態に係る肌状態測定システム２は、前記第１の実施形態同様、第一撮像部２１と、第二撮像部２２と、制御部９３とを備える一方、異なる点として、第一撮像部２１及び第二撮像部２２が端末装置２０に配設される一方、この端末装置２０とネットワーク１００を通じてデータ通信可能として設けられるサーバ９０に、制御部９３が配設される構成を有するものである。
【0128】
本実施形態においても、肌状態測定の対象者であるユーザーは、前記第１の実施形態同様、肌状態測定システム２の提供事業者との間で、肌状態診断のサービスを受ける契約を交わしており、且つ、肌状態測定システム２を使用可能となっていることで、肌状態測定システム２により肌状態の診断情報を得ることができる。
【0129】
前記第一撮像部２１は、前記第１の実施形態と同様に、前記第一の撮像手段として、端末装置２０に配設され、ユーザーの身体所定範囲を撮像可能とされるものである。
前記第二撮像部２２は、前記第１の実施形態と同様に、前記第二の撮像手段として、第一撮像部２１と同じ端末装置２０に配設され、ユーザーの肌の所定部位を撮像可能とされるものである。
前記第二撮像部２２は、前記第１の実施形態と同様に、前記第二の撮像手段として、第一撮像部２１と同じ端末装置２０に配設され、ユーザーの肌の所定部位を撮像可能とされるものである。
【0130】
これら第一撮像部２１及び第二撮像部２２は、ユーザーの肌を撮像可能とされる端末装置２０のカメラ部として、それぞれユーザーの端末装置２０の一部をなす点をはじめとして、前記第１の実施形態で示されるものと同様の構成を有しており、詳細な説明を省略する。
【0131】
前記端末装置２０は、前記第一撮像部２１及び第二撮像部２２を有して、ユーザーの身体所定範囲、及び、前記所定部位を撮像し、肌画像データを取得可能な装置とされるものである。
この端末装置２０は、前記第１の実施形態同様、ＩＰ通信網と接続して通信するための無線通信手段２４を有する携帯電話やいわゆるスマートフォン、タブレット装置などの公知の携帯型端末装置であり、このうち、装置上でアプリケーションプログラムを実行可能であり、且つ、各種情報を表示可能な表示部２６を有するものである。そして、端末装置２０は、二つのカメラ部を備えて、これらを前記第一撮像部２１や第二撮像部２２として機能させられる仕組みである。
この端末装置２０は、前記第１の実施形態同様、ＩＰ通信網と接続して通信するための無線通信手段２４を有する携帯電話やいわゆるスマートフォン、タブレット装置などの公知の携帯型端末装置であり、このうち、装置上でアプリケーションプログラムを実行可能であり、且つ、各種情報を表示可能な表示部２６を有するものである。そして、端末装置２０は、二つのカメラ部を備えて、これらを前記第一撮像部２１や第二撮像部２２として機能させられる仕組みである。
【0132】
端末装置２０の表示部２６は、ユーザーの少なくとも前記身体所定範囲を表す画像を表示可能とされるものである。この表示部２６は、タッチパネル式の表示デバイスであり、入力デバイスを兼ねる構成である。表示部２６は、より詳細には、サーバ９０の制御部９３で取得された前記身体所定範囲の表示用画像や前記所定部位の表示用画像を表示する他、同じく制御部９３で取得された前記身体所定範囲の肌状態の診断情報を表示することとなる。
【0133】
なお、端末装置２０は、あらかじめ格納したプログラムを実行することで、各種の機能や処理を実現する情報処理装置であって、ネットワーク１００を介して通信可能であり、且つ前記第一撮像部２１や第二撮像部２２を備えて肌状態の測定を行えるものであれば、前記第１の実施形態と同様、携帯型の装置に限られるものではなく、ノートタイプやデスクトップタイプ等のコンピュータ、あるいは特定用途に特化した他の情報処理装置でもかまわない。
【0134】
この端末装置２０は、肌状態測定用のアプリケーションプログラムを起動させて、第一撮像部２１でユーザーの前記身体所定範囲としての顔を撮像し、顔の肌画像データを得ると共に、第二撮像部２２で肌の前記所定部位を撮像し、前記所定部位の肌画像データを得て、これら肌画像データをサーバ９０の制御部９３に送信する。
【0135】
また、端末装置２０は、アプリケーションプログラムの実行により、サーバ９０で取得された診断情報を端末装置２０から参照可能となるよう要求する通信を行い、応答したサーバ９０から診断情報をコンテンツとして取得して表示部２６に表示する。この他、端末装置２０は、診断情報を参照可能とするために、サーバ９０側から、診断情報のデータ送信を受けて表示を行ったり、診断情報のデータをダウンロードして表示を行うこともできる。また、端末装置２０は、サーバ９０の制御部９３で取得された前記身体所定範囲の表示用画像や前記所定部位の表示用画像をサーバ９０から受け取り、表示部２６にそれらの表示を実行させる。
【0136】
前記サーバ９０は、端末装置２０とネットワーク１００を通じてデータ通信可能として配設され、端末装置２０で取得された前記身体所定範囲の肌画像データ、及び、前記所定部位の肌画像データ、を受信し、制御部としてこれら肌画像データを解析してユーザーの肌状態の診断情報を取得すると共に、各肌画像データに基づいて表示用画像を取得し、これら診断情報と表示用画像を端末装置２０に送信して、端末装置２０の表示部２６に診断情報の表示及び肌画像表示をそれぞれ行わせるものである。
【0137】
このサーバ９０は、サーバとして機能する、ＣＰＵ等を備えたコンピュータである。コンピュータが記録されたプログラムにしたがって処理を実行することで、サーバの機能が実現される。
【0138】
なお、本実施形態におけるサーバ９０は、必ずしも単独の実体のあるコンピュータに限られるものでなく、複数のコンピュータ装置がネットワーク接続されて協動して、要求される一又は複数のサービスを一体として提供する装置群である場合や、コンピュータ装置の一部機能に過ぎないものの、要求される一又は複数のサービスをあたかも一つの装置のように提供する機能を有して、サービスを提供される側からは一つの装置として取り扱える仮想装置である場合も含まれる。
【0139】
サーバ９０は、端末装置２０の第一撮像部２１及び第二撮像部２２での撮像により得られる肌画像データに基づいて、肌状態に関する情報としての、肌状態の診断情報及び端末装置への表示用の画像の情報を取得する制御部９３と、記録する記録部９７とを備える構成である。言い替えると、サーバ９０は、このサーバ９０をなすコンピュータがプログラムにしたがって処理を実行することで、前記制御部９３及び記録部９７の機能を実現するものである。
【0140】
サーバ９０における制御部９３は、撮像により得られる肌の画像データに基づいて、肌状態に関する情報を取得するものである。
この制御部９３は、端末装置２０から受け取った第一撮像部２１の撮像で得られる前記身体所定範囲の肌画像データに基づいて、前記身体所定範囲の肌状態に関する情報を取得可能とされると共に、同じく端末装置２０から受け取った第二撮像部２２の撮像で得られる前記所定部位の肌画像データに基づいて、前記所定部位の肌状態に関する情報を取得可能とされる。
この制御部９３は、端末装置２０から受け取った第一撮像部２１の撮像で得られる前記身体所定範囲の肌画像データに基づいて、前記身体所定範囲の肌状態に関する情報を取得可能とされると共に、同じく端末装置２０から受け取った第二撮像部２２の撮像で得られる前記所定部位の肌画像データに基づいて、前記所定部位の肌状態に関する情報を取得可能とされる。
【0141】
詳細には、制御部９３は、肌状態に関する情報として、前記身体所定範囲の肌画像データと前記所定部位の肌画像データとの解析による前記身体所定範囲の肌状態の診断情報を取得するものである。こうして制御部９３が各画像データを解析してユーザーの肌状態の診断情報を取得する機能は、アプリケーションプログラムにしたがって処理を実行する主体がサーバ９０である点以外は、前記第１の実施形態と同様の仕組みに基づくものであり、詳細な説明を省略する。
【0142】
そして、制御部９３は、前記身体所定範囲の肌状態の診断情報を端末装置２０に送信することができる。端末装置２０は、この制御部９３の制御に基づいて、表示部２６において、前記身体所定範囲の肌状態の診断情報を表示させることができる。
【0143】
また、制御部９３は、肌状態に関する他の情報として、前記身体所定範囲の肌画像データから導かれる前記身体所定範囲の表示用画像を取得すると共に、前記所定部位の肌画像データから導かれる前記所定部位の表示用画像を取得するものである。
【0144】
そして、制御部９３は、こうした表示用画像の情報を端末装置２０に送信することができる。端末装置２０は、こうした制御部９３の制御に基づいて、表示部２６において、前記身体所定範囲、具体的には、顔、の画像を表示させる一方、これが表示される表示部２６の画面上の表示領域と同じ領域に画像を置き換える状態で、又は、前記表示領域とは別の領域に顔の画像の表示と同時且つ並行に、前記身体所定範囲の画像より拡大率の大きい前記所定部位の画像を表示させることができる。
【0145】
また、制御部９３は、前記身体所定範囲の肌画像データから導かれる身体所定範囲の表示用画像の一部又は全部に対し、前記所定部位の肌画像データから導かれる前記所定部位の表示用画像に基づいて、画像補正処理（例えば、色較正）を行うこともできる。
【0146】
さらに、制御部９３は、前記身体所定範囲の肌画像データから導かれる前記身体所定範囲の表示用画像に対し、この画像上における、第二撮像部２２で撮像すべき所定部位に対応する位置に、第二撮像部２２の撮像対象位置であることを示す所定の案内用図案部を合成する処理を実行し、処理後の表示用画像を端末装置２０に送信して、端末装置２０の表示部２６に表示させることもできる。これにより、端末装置２０の表示部２６に表示される前記身体所定範囲の表示用画像の一部として、前記案内用図案部が表示され、ユーザーがその身体所定範囲における第二撮像部２２で撮像すべき所定部位を視認して理解可能となる。
【0147】
この他、制御部９３は、端末装置２０から受け取った第一撮像部２１の撮像で得られる前記身体所定範囲の肌画像データに基づいて、肌状態に関する情報としての前記身体所定範囲の肌状態の診断情報を一旦取得し、この診断情報から、第二撮像部２２で撮像すべき肌の所定部位を設定し、この肌の所定部位に係る情報を端末装置２０に送信し、端末装置２０の表示部２６等によりユーザーに示すことで、肌の所定部位に対する第二撮像部２２による撮像を実行可能とすることができる。
【0148】
そして、この所定部位の情報を参照したユーザーの操作に基づいた、第二撮像部２２による肌の前記所定部位の撮像に伴って、前記所定部位の肌画像データがサーバ９０に送信されると、制御部９３は、こうして新たに取得した前記所定部位の肌画像データ、及び、前記身体所定範囲の肌画像データに基づいて、あらためて前記身体所定範囲の肌状態の診断情報を取得する仕組みである。
【0149】
前記記録部９７は、前記身体所定範囲の肌画像データに基づいて制御部９３で一旦取得した前記身体所定範囲の肌状態の診断情報を用いて、制御部９３が設定した第二撮像部１２で撮像すべき肌の所定部位の情報を記録するものである。
【0150】
この記録部９７は、第二撮像部２２で撮像すべき肌の所定部位の情報に加えて、この所定部位の第二撮像部２２による撮像で得られた肌画像データを、この肌画像データを得た日時を判別可能として記録することとなる。
【0151】
次に、本実施形態に係る肌状態測定システムの使用状態について説明する。前提として、前記第１の実施形態と同様に、ユーザーの顔全体が第一撮像部２１で撮像される身体所定範囲とされ、これに含まれて第二撮像部２２により撮像される所定部位が、顔の肌の要部である。そして、端末装置２０はスマートフォンであり、表示部２６側のカメラ部を第一撮像部２１として用いる一方、表示部２６とは反対側のカメラ部を第二撮像部２２として用いて、それぞれ撮像を実行可能とされると共に、ネットワーク１００を通じてサーバ９０と通信可能とされる。。所定部位を撮像する際には、端末装置２０における第二撮像部２２の前方にコンバージョンレンズ２９を取り付け、第二撮像部２２の撮像範囲を第一撮像部２１より狭くする一方、より高解像度で撮像を行えるようにして、前記所定部位として顔の極狭い範囲の肌を撮像する。
【0152】
前記第１の実施形態同様、端末装置２０の各撮像部を使用して撮像を行うために、まず、ユーザーによりコンバージョンレンズ（図示を省略）が端末装置２０に取り付けられる。
続いて、端末装置２０へのユーザーの操作で、肌状態測定のサービス提供サーバ（例えば、サーバ９０）が用意した所定のウェブページへの端末装置２０のアクセスが行われ、このアクセスにより、サーバで提供されるウェブアプリケーション等のオンラインサービスを端末装置２０で使用可能となり、端末装置２０では各撮像部を使用するためのユーザーインターフェイスを提供するアプリケーションプログラムが起動し、端末装置２０を通じてユーザーが各撮像部を肌状態測定としての撮像に使用できる状態となる。
続いて、端末装置２０へのユーザーの操作で、肌状態測定のサービス提供サーバ（例えば、サーバ９０）が用意した所定のウェブページへの端末装置２０のアクセスが行われ、このアクセスにより、サーバで提供されるウェブアプリケーション等のオンラインサービスを端末装置２０で使用可能となり、端末装置２０では各撮像部を使用するためのユーザーインターフェイスを提供するアプリケーションプログラムが起動し、端末装置２０を通じてユーザーが各撮像部を肌状態測定としての撮像に使用できる状態となる。
【0153】
この他、端末装置２０へのユーザーの操作で、あらかじめ端末装置に記録されている、各撮像部をを使用するためのユーザーインターフェイスを提供するアプリケーションプログラムを端末装置２０上で起動させ、端末装置２０を通じてユーザーが各撮像部を肌の撮像に使用できる状態とするようにしてもよい。
【0154】
ユーザーが、端末装置２０の表示部２６に表示されたユーザーインターフェイスに対し測定開始の操作を行うと、端末装置２０がユーザーの身体所定範囲としての顔の撮像を実行することとなる。
【0155】
詳細には、端末装置２０においては、肌状態測定用のアプリケーションプログラムの実行により、表示部２６にユーザーインターフェイスが表示された状態となっている。このユーザーインターフェイスに対し、ユーザーが操作を行うことで、端末装置２０における第一の撮像手段としての第一撮像部２１によるユーザーの顔の撮像が開始され、端末装置２０で肌画像データが継続的に取得され、サーバ９０に送信される。
【0156】
そして、サーバ９０の制御部９３は、撮像で得られた画像データに基づいて、端末装置２０の表示部２６に顔の画像を表示させる。また、制御部９３は端末装置２０の表示部２６による所定の案内表示等により、顔があらかじめ定められた向きと大きさで表示されるように端末装置２０を支持する状態をユーザーに維持させる。
【0157】
ユーザーは表示部２６における顔の画像表示等を参考にして、身体所定範囲としての顔が第一撮像部２１によって適切に捉えられたと思われるタイミングで、端末装置２０のユーザーインターフェイスに対し所定の操作を行い、顔の静止画像を決定する。この決定した瞬間の顔の静止画像のデータがサーバ９０に送信され、第一撮像部２１の撮像で得られる前記身体所定範囲の肌画像データとして制御部９３で取り扱われることとなる。
【0158】
制御部９３は、第一撮像部２１の撮像で得られた肌画像データに基づく顔の表示用画像を取得し、これを端末装置２０に送信して、表示部２６に表示させつつ、肌画像データを解析し、ユーザーの顔の肌状態の診断情報を一旦取得する。
【0159】
また、制御部９３は、記録部９７における記録済みの情報を参照して、以前の撮像時において設定した前記所定部位の情報、すなわち、前記同様に一旦取得された顔の肌状態の診断情報等を用いて制御部１３が第二撮像部１２で撮像すべき肌の所定部位の設定を行った際に記録される、この設定された所定部位の情報が存在するか否かを判定する。
【0160】
以前に設定された所定部位の情報が記録されている場合、制御部９３は、記録された情報に基づいて、以前に所定部位として設定された箇所以外の前記身体所定範囲各部について、前記診断情報を用いて、例えば、肌の一部にシミ等が存在する兆候を見出したために、シミの有無の確認を要するなど、肌状態のさらなる適切な診断のために第二撮像部２２の撮像による詳細画像の取得が必要な部位を割出す。
【0161】
一方、ユーザーの肌の撮像の初回実行時など、以前に設定された第二撮像部２２で撮像すべき所定部位の情報が記録部９７に記録されていない場合には、制御部９３は、前記身体所定範囲全体について、前記診断情報を用いて、前記同様、肌状態のさらなる適切な診断のために第二撮像部２２の撮像による詳細画像の取得が必要な部位を割出す。
【0162】
制御部９３は、こうして割出した部位を、第二撮像部２２で撮像すべき所定部位に設定すると共に、設定したこの所定部位の情報を記録部９７に記録する。そして、制御部９３は、この所定部位について、これを示す所定の案内用図案部を生成し、この案内用図案部を、顔の肌画像データに基づく顔の表示用画像に合成する処理を行い、合成済みの画像を端末装置２０に送信し、端末装置２０の表示部２６に表示させる。
この表示部２６を見てユーザーが第二撮像部２２で撮像すべき所定部位を認識し、これを撮像可能となるよう第二撮像部２２のある端末装置２０の位置調整を行うこととなる。
この表示部２６を見てユーザーが第二撮像部２２で撮像すべき所定部位を認識し、これを撮像可能となるよう第二撮像部２２のある端末装置２０の位置調整を行うこととなる。
【0163】
なお、制御部９３は、前記第１の実施形態の場合と同様に、第二撮像部２２で撮像すべき所定部位を設定し、この所定部位を示す案内用図案部等の画像を顔の表示用画像に合成して表示するのに代えて、ユーザーの前記身体所定範囲としての顔のうち、ユーザーが表示部２６による顔の表示を見た上で肌状態について気になる部位を対象として、ユーザーが第二撮像部２２による撮像を行うよう、ユーザーに端末装置２０から案内する指示を端末装置２０に送信して、端末装置２０にユーザーへの案内表示や音声ガイド等を実行させることもできる。あるいは、一般的に肌状態を測定されることの多い箇所をあらかじめ選定して初期測定位置として登録し、この初期設定位置である肌の一又は複数部位を示す所定の案内用図案部を、顔の表示用画像に合成する処理を行い、合成済みの画像を端末装置２０に送信し、表示部２６に表示させるようにしてもよい。
【0164】
ユーザーは、手に持った端末装置２０を位置調整して、顔の前記所定部位等に第二撮像部２２が向いていると判断した際に、端末装置２０のシャッターボタン等のユーザーインターフェイスに対し所定の操作を行い、第二撮像部２２での撮像を行わせる。
【0165】
こうして撮像を行う段階で、第二撮像部２２は、外部の光源（例えば、コンバージョンレンズの内蔵光源）又は端末装置２０の内蔵光源による所定の照明状況の下で肌の前記所定部位の撮像を行い、肌画像データを出力する。この所定部位の肌画像データを、端末装置２０からサーバ９０に向けて送信し、制御部９３で取得する。
【0166】
例えば、端末装置２０に取り付けられるコンバージョンレンズの、照明として照射する光を調整可能な内蔵光源が、撮像対象の部位に対する光の照射状態を、第二撮像部２２の試行撮像で得られた肌画像の検証等を経て最適化された上で、撮像が実行され、無偏光の光照射による照明下で肌を撮像したキメ診断用画像と、直線偏光の光照射による照明下で肌を撮像したシミ診断用画像との各肌画像データが、端末装置２０からサーバ９０に送信され、制御部９３に取得される。
【0167】
制御部９３は、取得した前記所定部位の肌画像データを、この肌画像データを得た日時を判別可能として、先に記録した前記所定部位の情報に追加して記録部９７に記録する。
また、制御部９３は、以前に設定された所定部位の情報が記録部９７に記録されている場合、記録部９７を参照し、データ取得日時がユーザーの肌のターンオーバー周期に対応する過去の所定期間に含まれる所定部位の肌画像データを、第二撮像部２２による新規の撮像と同じタイミングで撮像されたものと見なす。
また、制御部９３は、以前に設定された所定部位の情報が記録部９７に記録されている場合、記録部９７を参照し、データ取得日時がユーザーの肌のターンオーバー周期に対応する過去の所定期間に含まれる所定部位の肌画像データを、第二撮像部２２による新規の撮像と同じタイミングで撮像されたものと見なす。
【0168】
そして、制御部９３は、第二撮像部２２から肌の前記所定部位の肌画像データを取得後、この肌画像データと、これと同じタイミングで撮像されたと見なした、前記所定期間に取得された記録済みの所定部位の肌画像データと、先に取得した第一撮像部２１の撮像で得られた顔の画像データとを解析して、ユーザーの前記身体所定範囲としての顔の正式な肌状態の診断情報を取得する。
【0169】
なお、以前に設定された所定部位の情報が記録部９７に記録されていない場合には、制御部９３は、第二撮像部２２から肌の前記所定部位の肌画像データを取得後、この肌画像データと、先に取得した第一撮像部２１の撮像で得られた顔の肌画像データとを解析して、ユーザーの顔の肌状態について正式な診断情報を取得する。
【0170】
そして、制御部９３は、顔の肌状態の診断情報を、端末装置２０に送信して（図１１参照）、診断情報を顔の画像と同時並行に、又は顔の画像と置き換えて、端末装置２０の表示部２６に表示させる。
【0171】
この他、制御部９３は、肌の前記所定部位の画像データに基づく前記所定部位の表示用画像を生成し、この前記所定部位の表示用画像の情報を、端末装置２０に送信し、前記所定部位の画像を、端末装置２０の表示部２６の画面上におけるいずれかの領域に必要に応じて表示させることもできる。
【0172】
こうした端末装置２０の表示部２６における顔の肌状態の診断情報の表示は、前記第１の実施形態の場合と同様に、テキストベースの情報表示に限られるものではなく、制御部９３での診断情報の表示制御に基づいて、肌の注意すべき部位や症状を顔画像上でマーキング画像等で具体的に示す形式で情報提供させることもできる。例えば、第二撮像部２２で得た精細な画像データから解析された診断情報として導かれた隠れジミの位置や大きさを、顔画像上の対応部位に重ねた所定色のマークで示した画像情報を表示提供させることもでき、シミ対策など肌のケアを実行する際に参考情報として活用可能となる。
このような診断情報の表示により、第一撮像部２１と第二撮像部２２による一回の肌状態測定としての撮像が完了となる。
このような診断情報の表示により、第一撮像部２１と第二撮像部２２による一回の肌状態測定としての撮像が完了となる。
【0173】
これ以降は、より詳細な肌状態、例えば、顔の各部ごとの肌状態や、ケアに伴う肌状態の推移、などを把握するために、ユーザーが所定間隔で前記同様の、第一撮像部２１による前記身体所定範囲としての顔の撮像と、第二撮像部２２による前記所定部位の撮像を繰り返し、各肌画像データを取得したサーバ９０の制御部９３が各肌画像データに基づく肌状態の診断情報を撮像ごとに取得し、端末装置２０の表示部２６に表示させることとなる。
【0174】
こうした撮像等を繰り返す中、特に、制御部９３が設定した所定部位の情報を記録部９７に記録し、次回の撮像の際に記録済みの情報を参照して以前と重ならない新たな所定部位を設定することで、前記第１の実施形態同様、前記身体所定範囲としての顔の領域を、撮像ごとに第二撮像部２２の撮像で詳細な肌画像データを得た部位で徐々に埋めていく状態として、複数の高精度の肌画像データをマップ状に連続させられ、肌画像データに基づく肌状態の解析をより高い精度で行え、正確で信頼性の高い診断情報を導ける。
【0175】
なお、制御部９３は、第二撮像部２２で前記所定部位の撮像が行われるごとに、その所定部位の情報、及びこの所定部位の第二撮像部２２による撮像で得られた肌画像データを記録していく中、新たな撮像機会の時点で、記録部９７に記録されている所定部位の情報や肌画像データのうち、データ取得日時がユーザーの肌のターンオーバー周期に対応する過去の所定期間を超える古いものについては、この新たな撮像機会におけるユーザーの肌とは肌のターンオーバーが時期的に重ならないものと判断して、こうした古い情報や肌画像データを消去して、新たな記録が無理なく繰り返し行えるようにすることもできる。
【0176】
また、サーバ９０で取得される、前記身体所定範囲としての顔についての表示用画像や肌状態の診断情報の基となる、第一撮像部２１の撮像で得られた顔の肌画像データは、第二撮像部２２で撮像を行う前の第一撮像部２１による撮像で得られた肌画像データであるが、これに代えて、サーバ９０の制御部９３が、端末装置２０から第二撮像部２２で撮像された前記所定部位の肌画像データを取得後、この前記所定部位の肌画像データに基づいて、顔の肌画像データの画像補正処理を行った上で、この補正後の顔の肌画像データに基づく顔の表示用画像を生成し、この顔の表示用画像を端末装置２０に送信して端末装置２０の表示部２６に表示させるようにしたり、補正後の顔の肌画像データを前記所定部位の肌画像データと共に解析して、顔の肌状態の診断情報を取得するようにしてもかまわない。
【0177】
この場合、撮像範囲が限定されることで撮像の条件を整えやすい、第二撮像部２２の撮像に基づいた前記所定部位の画像データを基準として、前記身体所定範囲の画像データについて画像補正処理を行い、この画像データで示される身体所定範囲の肌画像の色味を、前記所定部位の画像データにおける肌画像のそれに合わせられることから、第一撮像部２１での撮像条件によらず、撮像で得られた前記身体所定範囲の画像データを、画像表示や肌状態の診断に係る解析を行いやすい状態にでき、ユーザーによる肌状態の正しい把握を促せることとなる。
【0178】
このように、本実施形態に係る肌状態測定システムは、第一撮像部２１でユーザーの身体所定範囲としての顔を撮像すると共に、第二撮像部２２でユーザーの顔における所定部位を撮像して、それぞれ得られた顔の肌画像データと、前記所定部位の肌画像データとに基づいて、サーバ９０でユーザーの肌状態に関する情報としての肌状態の診断情報や表示用画像を取得することから、肌画像データを分析して肌状態に関する情報を導くにあたり、複数通りの撮像で得られた肌画像データに基づく、肌状態の診断情報などのユーザーの肌状態に関する情報の質を向上させられ、肌状態の表示や分析等に係るサーバ９０での処理を高い精度で行え、肌状態の診断を適切且つ効率よく進められると共に、得られる情報の信頼性も高められ、ユーザーに肌状態をより正確に把握させられる。
【0179】
なお、前記実施形態に係る肌状態測定システムにおいては、第一の撮像手段としての第一撮像部２１の撮像で得られた顔の肌画像データを、端末装置２０からサーバ９０にのみ送信して、制御部９３での診断情報等の肌状態に関する情報を取得する処理に供する構成としているが、これに限られるものではなく、図１２に示すように、前記身体所定範囲としての顔の肌画像データを、サーバ９０と共に他者の端末装置６０に送信し、サーバ９０の制御部９３で肌画像データに基づいて肌状態に関する情報を取得するのと並行して、他者の端末装置６０で、送信された肌画像データに基づいて顔を含むユーザーの画像を表示する構成とすることもできる。
【0180】
これは、ユーザーの端末装置２０と他者の端末装置６０間で通信を行う中での、各端末装置での撮像に基づく画像を相手側の端末装置に継続的に表示する使用状況、例えば、ビデオ通話など、に適用できる。具体例としては、ユーザーが診断情報を得るために自身の端末装置２０の第一撮像部２１で顔を撮像し、最終的にサーバ９０で取得された診断情報を閲覧する一方で、所定の相手と端末装置を通じたビデオ通話を行うことができ、相手側の端末装置６０で表示されるユーザーの画像は、第一撮像部２１の撮像で得られた顔の肌画像データに基づくものとなる。
【0181】
また、この応用例として、ユーザーが肌についてのカウンセリングを、端末装置を通じてのカウンセラーとのビデオ通話により受ける中、通話によるカウンセラーのサポートを得ながら、ユーザーが端末装置２０を操作して前記身体所定範囲としての顔や前記所定部位を端末装置２０の第一撮像部２１及び第二撮像部２２で撮像し、撮像により得られた肌画像データが端末装置２０からサーバ９０に送信され、サーバ９０の制御部９３が肌状態の診断情報を取得する構成とすることもできる。
【0182】
この場合、サーバ９０の制御部９３で取得した肌状態の診断情報を、カウンセラー、すなわちユーザーではない他者の端末装置６０に送信して、ユーザーとカウンセラーが診断情報を共有してユーザーの肌状態への認識を一つにした上で、カウンセラーが診断情報に基づいてユーザーの肌についての詳細なカウンセリングを行えるようにすることもできる。また、肌状態の診断情報を、サーバ９０からユーザーの端末装置２０には送信せず、カウンセラーの端末装置６０でのみ閲覧可能としてもよく、ユーザーに診断情報による先入観を与えることがなく、カウンセラーのアドバイスをユーザーがスムーズに受け入れやすい状態を得ることができる。さらに、第二の撮像手段としての第二撮像部が、ユーザーの端末装置における第一撮像部のある側にこれと同じ向きで配設されていたり、端末装置の第一撮像部により兼用されるものであったり、あるいは、ユーザーの端末装置とは独立した撮像装置であれば、ユーザーが第二撮像部で顔における前記所定部位の撮像を行う際に、端末装置の表示画面を通じてユーザーの撮像の様子を確認可能なカウンセラーの通話による撮像のサポートを受けながら、ユーザーが第二撮像部とユーザーの前記所定部位との間隔を調整したり、第二撮像部を適切に前記所定部位に向けるなどした上で、撮像を行うことができ、好ましい。
【0183】
また、前記実施形態に係る肌状態測定システムにおいて、第一の撮像手段としての第一撮像部２１はユーザーの端末装置２０に配設されて、ユーザーの操作により第一撮像部２１でのユーザーの前記身体所定範囲としての顔の撮像を行う構成としているが、これに限られるものではなく、第一の撮像手段が、他者の端末装置の一部として、又は、他者の端末装置に接続されて、ユーザーの少なくとも前記身体所定範囲を撮像する所定の撮像装置であって、こうした第一の撮像手段で得られたユーザーの画像データを、他者の端末装置でユーザーの肌状態に関する情報の取得以外の主目的のために使用する中、サーバ９０が第一の撮像手段の撮像で得られるユーザーの前記身体所定範囲の肌画像データを受信し、サーバ９０の制御部９３が、前記身体所定範囲の肌画像データ、及び、第二の撮像手段の撮像で得られる前記所定部位の肌画像データに基づいて、診断情報等のユーザーの肌状態に関する情報を取得する構成とすることもできる。
【0184】
具体例としては、図１３及び図１４に示すように、他者の端末装置６１の撮像部でユーザーを撮像し、得られた画像データからユーザーの識別のための個人認証処理を主な目的として行う中での、他者の端末装置６１での撮像で得られた画像のデータを、ユーザーの前記身体所定範囲の肌画像データとして流用する形でサーバ９０が入手し、これを制御部９３で別途第二の撮像手段から得られた前記所定部位の肌画像データと共に解析して、肌状態の診断情報を取得する構成とすることができる。
【0185】
この場合、他者の端末装置６１の撮像部での撮像により取得されたユーザーの画像データを肌診断に流用できることで、ユーザーの前記身体所定範囲を撮像する第一の撮像手段を新たに用意する必要がなく、各画像データに基づいた診断情報等の肌状態に関する情報を低コストで効率よく取得できる。
【0186】
（本発明の第３の実施形態）
前記第１の実施形態に係る肌状態測定システムにおいて、第二の撮像手段としての第二撮像部１２は、ユーザーの前記身体所定範囲としての顔と重なる、顔の所定部位（例えば、頬や額等の一部）を撮像可能とされる構成としているが、この他、第３の実施形態として、第二の撮像手段が、ユーザーの前記身体所定範囲とは重ならない肌の所定部位を撮像する構成とすることもできる。
前記第１の実施形態に係る肌状態測定システムにおいて、第二の撮像手段としての第二撮像部１２は、ユーザーの前記身体所定範囲としての顔と重なる、顔の所定部位（例えば、頬や額等の一部）を撮像可能とされる構成としているが、この他、第３の実施形態として、第二の撮像手段が、ユーザーの前記身体所定範囲とは重ならない肌の所定部位を撮像する構成とすることもできる。
【0187】
この場合、制御部は、第二の撮像手段の撮像で得られる前記所定部位の肌画像データに基づいて、肌の前記所定部位の肌状態に関する情報を取得した上で、前記身体所定範囲の肌状態に関する情報として、前記所定部位の肌状態に関する情報を基準とした前記身体所定範囲各部の相対的肌状態の情報を取得することとなる。
【0188】
具体例として、第一の撮像手段としての第一撮像部３１で撮像するユーザーの前記身体所定範囲としての顔に対し、これと重ならない肌の所定部位、例えば、腕の胴体寄りの面や顎の下面など、日光が当たりにくく紫外線の影響をあまり受けない箇所を、端末装置３０に設けた第二の撮像手段としての第二撮像部３２で撮像する（図１５参照）。なお、この第二撮像部３２での撮像は、第一撮像部３１での撮像に対し後でも先でもかまわない。
【0189】
この第二撮像部３２の撮像で得られた前記所定部位の肌画像データに基づいて、制御部（図示を省略）で肌の前記所定部位の肌状態に関する情報を取得する。さらに、第一撮像部３１の撮像で得られた前記身体所定範囲としての顔の肌画像データに基づいて、制御部で顔の肌状態に関する情報を取得するにあたり、先に取得した前記所定部位の肌状態に関する情報を基準とした、顔各部の相対的肌状態の情報として、顔の肌状態に関する情報を取得する。
【0190】
これにより、ユーザーの顔の肌状態を、紫外線の影響をあまり受けず肌の劣化度合いが小さいことで、肌の評価の基準に適した箇所である、前記所定部位の肌状態を基準として相対的に示すようにして、前記身体所定範囲としての顔各部の肌状態の劣化度合いを、ユーザーが理解しやすい形であらわすことができ、顔の肌状態をユーザーが本来あるべき肌状態との差異として捉えられるなど、より的確に把握可能となり、基準とした前記所定部位の肌状態を目標の状態として、顔の肌に関するユーザーの適切なケア等の対応を促せる。
【0191】
なお、制御部で取得した、前記所定部位の肌状態に関する情報を基準とした、肌状態の相対的な診断情報等、顔の肌状態に関する情報に基づいて、端末装置からユーザーに対し、顔の肌状態を目標となる前記所定部位の肌状態に近付けるスキンケアを提案する構成とすることもできる。その際、外部のＡＩを用いて、診断情報の他に肌状態に係る各種情報も踏まえてより詳細な分析を行い、より効果的なスキンケアの提案に繋げるようにしてもよい。
【0192】
また、前記実施形態において、一つの端末装置３０に第一の撮像手段としての第一撮像部３１と第二の撮像手段としての第二撮像部３２を配設して、各撮像部による撮像を異なるタイミングで行うようにして、端末装置３０一台で簡易に撮像が行えるようにしているが、この他、第二の撮像手段を第一の撮像手段とは別に設ける構成、例えば、第一の撮像手段をなすカメラ部のある端末装置３５に対し、第二の撮像手段をなすカメラ部を有する他の撮像装置３６を併用する構成としてもかまわない。この場合、第一の撮像手段と第二の撮像手段で同時に撮像を行うことができ（図１６参照）、撮像から肌状態に関する情報を得るまでの時間を短縮して、撮像に係るユーザーの負担を軽減でき、肌状態に関する情報を得るための撮像等の活動を、ユーザーにとって継続しやすいものにできる。
【0193】
（本発明の第４の実施形態）
本発明の第４の実施形態に係る肌状態測定システムを前記図１７ないし図１９に基づいて説明する。
前記各図において本実施形態に係る肌状態測定システム４は、前記第１の実施形態同様、第一撮像部４１と、第二撮像部４２と、制御部４３とを備える一方、異なる点として、第一撮像部４１、第二撮像部４２、及び制御部４３を配設される端末装置４０が、第一撮像部４１による撮像と第二撮像部４２による撮像とを同時に行えるようにし、第一撮像部４１がユーザー前方の鏡面８０に映ったユーザーの鏡像を撮像する構成を有するものである。
本発明の第４の実施形態に係る肌状態測定システムを前記図１７ないし図１９に基づいて説明する。
前記各図において本実施形態に係る肌状態測定システム４は、前記第１の実施形態同様、第一撮像部４１と、第二撮像部４２と、制御部４３とを備える一方、異なる点として、第一撮像部４１、第二撮像部４２、及び制御部４３を配設される端末装置４０が、第一撮像部４１による撮像と第二撮像部４２による撮像とを同時に行えるようにし、第一撮像部４１がユーザー前方の鏡面８０に映ったユーザーの鏡像を撮像する構成を有するものである。
【0194】
本実施形態においても、肌状態測定の対象者であるユーザーは、前記第１の実施形態同様、肌状態測定システム４の提供事業者との間で、肌状態診断のサービスを受ける契約を交わしており、且つ、肌状態測定システム４を使用可能となっていることで、肌状態測定システム４により肌状態の診断情報を得ることができる。
【0195】
前記第一撮像部４１は、前記第一の撮像手段として、端末装置４０に配設され、ユーザーの肌状態の測定として、ユーザーの身体所定範囲、例えば、顔、を撮像可能とされるものである。ただし、この第一撮像部４１は、ユーザーの前方に位置する鏡面８０に映った、ユーザーの前記身体所定範囲の鏡像を撮像するものである。
【0196】
前記第二撮像部４２は、前記第二の撮像手段として、第一撮像部４１と同じ端末装置４０に配設され、ユーザーの肌状態の測定として、ユーザーの前記身体所定範囲より狭い部位であって、この身体所定範囲と重なる、ユーザーの肌の所定部位、例えば、頬や額等の一部を、撮像可能とされるものである。
【0197】
この第二撮像部４２は、端末装置４０における第一撮像部４１の配設される面に対し、その反対側となる他の面に配設され、端末装置４０における第一撮像部４１がユーザー前方の鏡面８０に向けられた状態で、ユーザーの前記所定部位を撮像可能とされるものである。
また、第二撮像部４２は、第一撮像部４１より撮像対象の単位面積あたりの解像度が高い画像データを取得可能とされる。
また、第二撮像部４２は、第一撮像部４１より撮像対象の単位面積あたりの解像度が高い画像データを取得可能とされる。
【0198】
第一撮像部４１と第二撮像部４２は、端末装置４０を通じたユーザーの操作により撮像を実行可能とされ、第一撮像部４１による前記身体所定範囲の撮像と、第二撮像部４２による肌の前記所定部位の撮像とは、同じタイミングで実行される。
【0199】
前記端末装置４０は、前記第一撮像部４１及び第二撮像部４２を有して、ユーザーの身体所定範囲、及び、前記所定部位を撮像し、肌画像データを取得可能な装置とされると共に、前記制御部４３を有するものである。
【0200】
この端末装置４０は、アプリケーションプログラムを実行可能な手持ちタイプの装置であり、且つ、各種情報を表示可能な表示部４６を有するものである。
端末装置４０の表示部４６は、ユーザーの画像を表示可能とされるものである。この表示部４６は、タッチパネル式の表示デバイスであり、入力デバイスを兼ねる構成である。
端末装置４０の表示部４６は、ユーザーの画像を表示可能とされるものである。この表示部４６は、タッチパネル式の表示デバイスであり、入力デバイスを兼ねる構成である。
【0201】
なお、端末装置４０は、あらかじめ格納したプログラムを実行することで、制御部４３としての機能や処理を実現する情報処理装置であって、ユーザーとその前方の鏡面８０との間に位置して、第一撮像部４１及び第二撮像部４２で同時に撮像を行えるものであれば、手持ちタイプの装置に限られるものではなく、固定式の装置であってもよい。また、端末装置４０は、鏡面８０が浴室や洗面台、化粧台など、水気のある箇所に多く設けられる鏡のものである可能性を考慮して、同じ空間で使用する関係上、防水構造とするのが好ましい。
【0202】
この端末装置４０の制御部４３は、肌状態診断用のアプリケーションプログラムを用いて、撮像により得られた肌画像データを解析して診断情報を取得可能とされており、得られた診断情報をユーザーが参照できる。この場合、端末装置４０の制御部４３は、アプリケーションプログラムの実行により、取得した診断情報をコンテンツとして表示部４６に表示することで参照可能としている。
【0203】
前記制御部４３は、撮像により得られる肌の画像データ、すなわち、第一撮像部４１の撮像で得られる前記身体所定範囲の肌画像データと、第二撮像部４２の撮像で得られる前記所定部位の肌画像データとに基づいて、肌状態に関する情報を取得するものである。
【0204】
この制御部４３は、前記身体所定範囲の肌画像データ、及び、前記所定部位の肌画像データ、を解析して、肌状態に関する情報としての、ユーザーの前記身体所定範囲の肌状態の診断情報を取得するものである。こうして制御部４３が各肌画像データを解析してユーザーの肌状態の診断情報を取得する機能は、制御部４３が、アプリケーションプログラムにしたがって処理を実行することで実現される、前記第１の実施形態と同様の仕組みに基づくものであり、詳細な説明を省略する。
【0205】
また、制御部４３は、肌状態に関する他の情報として、前記身体所定範囲の肌画像データに基づいて前記身体所定範囲の表示用画像を取得すると共に、前記所定部位の肌画像データに基づいて前記所定部位の表示用画像を取得するものである。
【0206】
そして、制御部４３は、端末装置４０の表示部４６において、前記身体所定範囲、具体的には、顔、の表示用画像を表示させる一方、これが表示される表示部４６の画面上の表示領域と同じ領域に画像を置き換える状態で、又は、前記表示領域とは別の領域に顔の表示用画像の表示と同時且つ並行に、前記身体所定範囲の表示用画像より拡大率の大きい前記所定部位の表示用画像を表示させることができる。
【0207】
この他、制御部４３は、前回取得した肌状態に関する情報としてのユーザーの前記身体所定範囲の肌状態の診断情報を用いて、前記身体所定範囲に含まれる第二撮像部４２で撮像すべき肌の所定部位を設定し、この所定部位の情報を端末装置４０を通じてユーザーに報知することもできる。
【0208】
この場合、この所定部位の情報を参照したユーザーの操作に基づいた、第二撮像部４２による肌の前記所定部位の撮像に伴って、前記所定部位の肌画像データが得られると、制御部４３は、この前記所定部位の肌画像データと、同時の撮像で得られた前記身体所定範囲の肌画像データに基づいて、前記身体所定範囲の肌状態の診断情報を取得することができる。
【0209】
また、制御部４３は、取得した前記身体所定範囲の肌状態の診断情報を用いて、第二撮像部４２で撮像すべき肌の所定部位を設定した場合に、設定したこの所定部位の情報を記録する記録部４７を有する。
【0210】
記録部４７は、第二撮像部４２で撮像すべき肌の所定部位の情報に加えて、この所定部位の第二撮像部４２による撮像で得られた肌画像データを、この肌画像データを得た日時を判別可能として記録するものである。
【0211】
制御部４３は、記録部４７に以前設定した所定部位の情報が記録されている場合、第一撮像部４１での新たな撮像機会で、前回取得した前記身体所定範囲の肌状態の診断情報を用いると共に、記録部４７に記録済みの所定部位の情報を参照して、前記身体所定範囲のうち所定部位として記録されていない箇所の中から、新たに第二撮像部４２で撮像すべき肌の所定部位を設定する。
【0212】
また、制御部４３は、第一撮像部４１での新たな撮像機会で、第二撮像部４２で撮像すべき肌の所定部位を設定するのと並行して、記録部４７に記録済みの所定部位の情報、この所定部位の肌画像データ、及びそのデータ取得日時を参照する仕組みを有している。
【0213】
そして、制御部４３は、記録された前記所定部位の肌画像データのうち、データ取得日時がユーザーの肌のターンオーバー周期に対応する過去の所定期間に含まれる肌画像データを、新規の撮像と同じタイミングで撮像されたものと見なすようにしている。
【0214】
この場合、制御部４３は、前記所定期間に取得された記録済みの肌画像データと、この新たな撮像機会で設定された肌の所定部位の第二撮像部４２による撮像で得られた前記所定部位の肌画像データと、前記身体所定範囲の肌画像データとに基づいて、前記身体所定範囲の肌状態の診断情報（肌状態に関する情報）を取得することとなる。
【0215】
一方、制御部４３は、記録部４７に記録済みの所定部位の情報、及びこの所定部位の肌画像データのうち、データ取得日時が前記所定期間に含まれない、ユーザーの肌のターンオーバー周期を超えるような古い時点のものについては、第一撮像部４１での新たな撮像機会でのユーザーの肌とは肌のターンオーバーが重ならない時期のものであり、新規の撮像と同じタイミングで撮像されたものと見なせないとして、該当する前記所定部位の情報、及び所定部位の肌画像データを記録部４７から消去するようにしてもよい。
【0216】
次に、本実施形態に係る肌状態測定システムの使用状態について説明する。前提として、前記第１の実施形態と同様に、ユーザーの顔全体が第一撮像部４１で撮像される身体所定範囲とされ、これに含まれて第二撮像部４２により撮像される所定部位が、顔の肌の要部である。そして、端末装置４０の第一撮像部４１及び第二撮像部４２は、それぞれ撮像を実行可能とされているものとする。
【0217】
まず、ユーザーの操作で、あらかじめ端末装置に存在している、各撮像部を使用するためのユーザーインターフェイスを提供するアプリケーションプログラムを端末装置４０上で起動させると、端末装置４０を通じてユーザーが各撮像部を撮像に使用できる状態となる。
【0218】
そして、ユーザーは、端末装置４０を、第一の撮像手段としての第一撮像部４１がユーザーの前方に位置する鏡面８０に映っている、ユーザーの身体所定範囲としての顔の鏡像に向かい、且つ、第二の撮像手段としての第二撮像部４２がユーザーの顔の一部に向かうように保持する。
【0219】
こうした端末装置４０を保持した状態では、第一撮像部４１が、ユーザーの前方に位置する鏡面８０に映っている、前記身体所定範囲としての顔の鏡像の撮像を実行すると共に、第二撮像部４２が、ユーザーの顔の一部の撮像を実行し、制御部４３で各撮像部で得られた画像データが継続的に取得される。
【0220】
また、第一撮像部４１と第二撮像部４２で撮像が行われるのに伴い、撮像で得られた画像データに基づいて、端末装置４０の表示部４６に各撮像部で撮像されたものが表示される。
この場合、制御部４３は表示部４６による所定の案内表示等により、第一撮像部４１で少なくとも顔の鏡像があらかじめ定められた向きと大きさで撮像されるように、端末装置４０を支持する状態や、ユーザーと鏡面８０との間隔をユーザーに維持させ、制御部４３で第一撮像部４１の撮像で得られた顔の肌画像データに基づいて顔の表示用画像を取得し、この顔の表示用画像が表示部４６に適切に表示されるようにする。
この場合、制御部４３は表示部４６による所定の案内表示等により、第一撮像部４１で少なくとも顔の鏡像があらかじめ定められた向きと大きさで撮像されるように、端末装置４０を支持する状態や、ユーザーと鏡面８０との間隔をユーザーに維持させ、制御部４３で第一撮像部４１の撮像で得られた顔の肌画像データに基づいて顔の表示用画像を取得し、この顔の表示用画像が表示部４６に適切に表示されるようにする。
【0221】
そして、制御部４３は、ユーザーの前記身体所定範囲としての顔のうち、ユーザーが気になる部位を対象として、ユーザーが第二撮像部４２による撮像を行うよう、ユーザーに端末装置４０から案内表示や音声ガイド等を実行する。あるいは、一般的に肌状態を測定されることの多い箇所をあらかじめ選定して初期測定位置として登録し、この初期設定位置である肌の一又は複数部位を示す所定の案内用図案部を、顔の表示用画像に合成する処理を行い、合成済みの画像を表示部４６に表示させるようにする。
【0222】
これを受けて、ユーザーは、顔の気になる任意の部位を認識したり、表示部４６に表示された前記案内用図案部で示される顔上の初期測定位置を見て確認した上で、これらを撮像可能となるよう第二撮像部４２のある端末装置４０の位置や向きの微調整を行うこととなる。
【0223】
ユーザーは、第一撮像部４１及び第二撮像部４２を各撮像対象に向けた状態とし、表示部４６における顔の鏡像や顔の所定部位の画像表示等を参考にして、各撮像対象が対応する各撮像部によって適切に捉えられたと思われるタイミングで、端末装置４０のシャッターボタン等のユーザーインターフェイスに対し所定の操作を行い、顔の鏡像及び所定部位の静止画像を決定する。この決定した瞬間の顔の鏡像や前記所定部位の静止画像のデータが、前記身体所定範囲の肌画像データ及び前記所定部位の肌画像データとして制御部４３で取り扱われることとなる。
【0224】
こうして画像を決定する段階で、第二撮像部４２については、外部の光源又は端末装置４０の内蔵光源による所定の照明状況の下で肌の前記所定部位の撮像を行うようにすることもできる。例えば、端末装置４０において、照明として照射する光を調整可能な内蔵光源が、撮像対象の顔の所定部位に対する光の照射状態を、第二撮像部４２の試行撮像で得られた肌画像の検証等を経て最適化された上で、照明下での撮像が実行され、無偏光の光照射による照明下で肌を撮像したキメ診断用画像と、直線偏光の光照射による照明下で肌を撮像したシミ診断用画像の各画像データを、制御部４３で取得することができる。
【0225】
制御部４３は、第一撮像部４１及び第二撮像部４２の撮像で得られた各肌画像データに基づく顔や前記所定部位の表示用画像を取得し、これを表示部４６に表示させつつ、各肌画像データを解析し、ユーザーの顔の肌状態の診断情報を取得する。
【0226】
そして、制御部４３は、顔の肌状態の診断情報を、顔の画像と同時並行に、又は顔の画像と置き換えて、表示部４６に表示させる。また、制御部４３は、顔における前記所定部位の位置に関する情報と、前記所定部位の肌画像データを、この肌画像データを得た日時を判別できる状態で、記録部４７に記録する。
【0227】
表示部４６における顔の肌状態の診断情報の表示は、テキストベースの情報表示に限られるものではなく、肌の注意すべき部位や症状を顔画像上でマーキング画像等で具体的に示して情報提供することもできる。例えば、第二撮像部４２で得た精細な画像データから解析された診断情報として導かれた隠れジミの位置や大きさを、顔画像上の対応部位に重ねた所定色のマークで示すことができ、シミ対策など肌のケアを実行する際に参考情報として活用可能となる。
このような診断情報の表示により、第一撮像部４１と第二撮像部４２による一回の肌状態測定としての撮像が完了となる。
このような診断情報の表示により、第一撮像部４１と第二撮像部４２による一回の肌状態測定としての撮像が完了となる。
【0228】
これ以降は、肌状態の推移を把握するために、ユーザーが所定間隔で前記同様の、第一撮像部４１による前記身体所定範囲としての顔の撮像と、第二撮像部４２による前記所定部位の撮像を繰り返し、制御部４３が得られた各肌画像データに基づく肌状態の診断情報を撮像ごとに取得し、表示部４６に表示させることとなる。
【0229】
この場合、制御部４３は、記録部４７における記録済みの情報を参照して、以前の撮像時において設定した顔の所定部位の情報、すなわち、肌状態の診断情報等を用いて制御部４３が第二撮像部４２で撮像すべき肌の所定部位の設定を行った際に記録される、この設定された所定部位の情報が存在するか否かを判定する。
【0230】
以前に設定された所定部位の情報が記録されている場合、制御部４３は、記録された情報に基づいて、以前に所定部位として設定された箇所以外の前記身体所定範囲各部について、前回の診断情報を用いて、例えば、肌の一部にシミ等が存在する兆候を見出したために、シミの有無の確認を要するなど、肌状態のさらなる適切な診断のために第二撮像部４２の撮像による詳細画像の取得が必要な部位を割出す。
【0231】
一方、以前に設定された第二撮像部４２で撮像すべき所定部位の情報が記録部４７に記録されていない場合には、制御部４３は、前記身体所定範囲全体について、前回の肌状態の診断情報を用いて、前記同様、肌状態のさらなる適切な診断のために第二撮像部４２の撮像による詳細画像の取得が必要な部位を割出す。
【0232】
制御部４３は、上記のように割出した部位を、第二撮像部４２で撮像すべき所定部位に設定すると共に、設定したこの所定部位の情報を記録部４７に記録する。そして、制御部４３は、この所定部位について、例えば、第二撮像部４２の撮像対象となる顔上の所定部位を示す所定の案内用図案部（マーク）、を生成し、この案内用図案部を、顔の肌画像データに基づく顔の表示用画像に合成する処理を行い、合成済みの画像を表示部４６に表示させる。
この表示部４６を見てユーザーが第二撮像部４２で撮像すべき所定部位を認識し、これを第二撮像部４２で撮像可能となるよう端末装置４０の位置や向きの微調整を行うこととなる。
この表示部４６を見てユーザーが第二撮像部４２で撮像すべき所定部位を認識し、これを第二撮像部４２で撮像可能となるよう端末装置４０の位置や向きの微調整を行うこととなる。
【0233】
このように撮像等を繰り返す中、制御部４３が設定した所定部位の情報を記録部４７に記録し、次回の撮像の際に記録済みの情報を参照して以前と重ならない新たな所定部位を設定することで、前記身体所定範囲としての顔の領域を、撮像ごとに第二撮像部４２の撮像で詳細な肌画像データを得た部位で徐々に埋めていく状態として、複数の高精度の肌画像データをマップ状に連続させられ、肌画像データに基づく肌状態の解析をより高い精度で行え、正確で信頼性の高い診断情報を導ける。
【0234】
こうして、制御部４３は、第二撮像部４２で前記所定部位の撮像が行われるごとに、その所定部位の情報、及び、この所定部位の第二撮像部４２による撮像で得られた肌画像データを記録していく中、新たな撮像機会の時点で、記録部４７に記録されている各情報や肌画像データのうち、データ取得日時がユーザーの肌のターンオーバー周期に対応する過去の所定期間を超える古いものについては、この新たな撮像機会におけるユーザーの肌とは肌のターンオーバーが時期的に重ならないものと判断して、こうした古い情報や肌画像データを消去して、新たな記録が無理なく繰り返し行えるようにすることもできる。
【0235】
なお、制御部４３で、第二撮像部４２による新たな撮像の際に、記録部４７に記録した情報を参照して、以前とは重ならない新たな所定部位を第二撮像部４２で撮像できるようにしているが、これに限らず、第一撮像部４１による前記身体所定範囲の撮像と、第二撮像部４２による前記所定部位の撮像を繰り返す中、第二撮像部４２で同じ所定部位を何度も繰り返し撮像する構成とすることもでき、制御部４３で肌の同じ部位に着目した肌画像データに基づいて得られた肌状態の診断情報や表示用画像から、特定部位における詳細な肌状態の推移を把握することができ、肌のケアによる改善度合い等を容易に確認可能となる。
【0236】
このように、本実施形態に係る肌状態測定システムは、第一撮像部４１でユーザー前方の鏡面８０に映った鏡像を撮像して、前記身体所定範囲の肌画像データを取得し、これと同時に、第二撮像部４２による撮像で前記所定部位の肌画像データを取得して、各肌画像データから制御部４３で肌状態に関する情報を取得して、この肌状態に関する情報を利用可能とすることから、各撮像部での同時撮像で前記身体所定範囲の肌画像データと前記所定部位の肌画像データを一度に取得でき、撮像から肌状態に関する情報を得るまでの時間を短縮でき、撮像に係るユーザーの負担を軽減できると共に、肌状態に関する情報が時間をかけずに得られ、ユーザーの肌状態を速やかに把握可能となる。
【0237】
また、端末装置４０における一の面に第一撮像部４１が配設されると共に、この第一撮像部４１が鏡面８０に向けられた状態で、ユーザーの前記所定部位を撮像可能として、第二撮像部４２が同じ端末装置４０に配設され、一つの装置でユーザーの前記身体所定範囲と前記所定部位の撮像に対応できることから、端末装置４０の各撮像部での撮像で前記身体所定範囲の肌画像データと前記所定部位の肌画像データをまとめて取得でき、撮像にあたってユーザーは各撮像部を設けた端末装置４０のみを取り扱えばよく、撮像に係るユーザーの負担を大幅に軽減でき、肌状態に関する情報を得るための活動をユーザーが無理なく継続可能となる。
【0238】
なお、前記実施形態に係る肌状態測定システムにおいては、第一の撮像手段としての第一撮像部４１及び第二の撮像手段としての第二撮像部４２が配設された端末装置４０を、専ら第一撮像部４１及び第二撮像部４２による撮像を行って肌状態の診断情報を取得する装置とする構成としているが、これに限られるものではなく、様々な用途に使用可能なスマートフォン等の通信端末装置であって、且つ複数のカメラ部を備える装置について、その複数のカメラ部を、各カメラ部ごとの撮像を同時に行ってそれぞれ個別に画像データを取得可能としたものとすれば、これを複数のカメラ部が第一の撮像手段や第二の撮像手段としてそれぞれ機能する端末装置として用いる構成とすることもできる。
【0239】
また、前記端末装置４０では、第二の撮像手段としての第二撮像部４２が、この端末装置４０における第一の撮像手段としての第一撮像部４１の配設される面の反対面に配設される構成としているが、これに限らず、端末装置に配設される第二の撮像手段が、この端末装置における第一の撮像手段がユーザー前方でユーザーを映す鏡面８０に向けられた状態で、ユーザーの前記所定部位を撮像可能とされるものであれば、端末装置の任意の箇所に第二の撮像手段を配設してもかまわない。特に、コンバージョンレンズ等の付加で撮像対象方向を変えられる場合は、第二の撮像手段を端末装置における第一の撮像手段の配設される面に配設してもかまわない。この他、第二の撮像手段としての第二撮像部４２は、第一の撮像手段としての第一撮像部４１と同じ端末装置４０に設ける構成に限られるものではなく、第二の撮像手段が第一の撮像手段とは別に設けられる構成、例えば、第一の撮像手段をなすカメラ部のある端末装置に対し、第二の撮像手段をなすカメラ部を有する他の装置を併用する構成としてもかまわない。
【0240】
また、前記実施形態に係る肌状態測定システムにおいて、第二の撮像手段としての第二撮像部４２は、ユーザーの前記身体所定範囲としての顔と重なる、顔の所定部位（例えば、頬や額等の一部）を撮像可能とされる一方、その撮像範囲は、ユーザー前方の鏡面８０に映る顔の鏡像では、端末装置４０に隠された部位となり、顔の鏡像を撮像する第一の撮像手段としての第一撮像部４２の撮像範囲とは重ならず、第一撮像部４１と第二撮像部４２で共通に撮像される部位が生じない構成としているが、この他、図２０に示すように、端末装置４５における第二撮像部４９を、ユーザーの前記所定部位を少し離れた位置からでも撮像可能で、且つ第一撮像部４８でユーザー前方の鏡面８０に映る顔の鏡像を撮像可能な範囲で、端末装置４５を顔の正面からずれた位置、例えば、顔の斜め前や横、に位置させた場合でも、顔の前記所定部位が撮像できるものとして、顔全体の鏡像を撮像可能となる第一撮像部４８の撮像範囲と、顔の所定部位を撮像可能な第二撮像部４９の撮像範囲とが重なり、第一撮像部４８と第二撮像部４９で共通に撮像される部位が存在する構成とすることもできる。
【0241】
この場合、異なる二つの撮像部で得られた各肌画像データにおける共通する所定部位から、各肌画像データ同士の関係性を把握でき、重なる部位以外の身体所定範囲としての顔各部の詳細な肌状態も類推できるなど、制御部での各肌画像データを用いた解析で肌状態に関する情報を詳細に取得でき、こうした肌状態に関する情報からユーザーにその肌状態を正しく把握させられ、肌に関するユーザーの適切なケア等の対応をより一層促せる。
【0242】
また、前記実施形態に係る肌状態測定システムにおいては、端末装置における第一の撮像手段としての第一撮像部４１がユーザー前方でユーザーを映す鏡面８０に向けられ、鏡面８０に映るユーザーの前記身体所定範囲としての顔の鏡像を撮像し、顔の肌画像データを得ると共に、この肌画像データを制御部４３で解析して肌状態に関する情報を取得するにあたり、特に画像の加工等は行わず、表示部４６で顔の画像を表示する場合には、撮像したままの状態で表示される構成としているが、この他、第一の撮像手段の撮像で得られる画像データのうち、ユーザーの前記身体所定範囲（顔）の鏡像以外の、ユーザーの前記身体所定範囲以外の身体部分やユーザーの後方の壁等が背景として映り込んでいる部分について、仮に第三者がその画像を見ても表示内容を判別できない程度に、制御部で画像加工処理を行う構成とすることもでき、診断情報等の肌状態に関する情報を取得するのに関係ないユーザーの個人情報の漏洩を確実に防止できる。
【0243】
また、前記実施形態に係る肌状態測定システムにおいては、第一の撮像手段としての第一撮像部４１の撮像で得られる前記身体所定範囲としての顔の肌画像データと、第二の撮像手段としての第二撮像部４２の撮像で得られる前記所定部位の肌画像データとの両方を、制御部４３で解析して、肌状態の診断情報を取得する構成としているが、この他、第一の撮像手段の撮像で得られる、ユーザーの前記身体所定範囲の肌画像データについては、これに含まれる端末装置の位置に基づいて、制御部で端末装置の第二の撮像手段で撮像される前記所定部位の位置を特定するためにのみ使用し、制御部による肌に着目した画像解析には、第二の撮像手段の撮像で得られた前記所定部位の肌画像データのみ用いる構成とすることもでき、ユーザーの身体所定範囲における第二の撮像手段で撮像される前記所定部位を正しく認定し、診断情報等の肌状態に関する情報の取得を、身体所定範囲の各部位ごとの肌の特性を踏まえて正確に行える状態を確保しつつ、各肌画像データに基づいた制御部の肌状態に関する情報の取得処理をより簡略化して制御部の負荷を抑え、処理を高速化できる。
【符号の説明】
【0244】
１、２、４ 肌状態測定システム
１０、２０、３０、４０ 端末装置
１１、２１、３１、４１ 第一撮像部
１２、２２、３２、４２ 第二撮像部
１３、２３、４３ 制御部
１４、２４ 無線通信手段
１６、２６、４６ 表示部
１７、２７、４７ 記録部
１９ コンバージョンレンズ
３５ 端末装置
３６ 撮像装置
４５ 端末装置
４８ 第一撮像部
４９ 第二撮像部
５０ 端末装置
５１ 第一撮像部
５２ 第二撮像部
５３ 照明用光源
５４ フード
５５ ミラー部
６０、６１ 端末装置
８０ 鏡面
９０ サーバ
９３ 制御部
９７ 記録部
１００ ネットワーク
１０、２０、３０、４０ 端末装置
１１、２１、３１、４１ 第一撮像部
１２、２２、３２、４２ 第二撮像部
１３、２３、４３ 制御部
１４、２４ 無線通信手段
１６、２６、４６ 表示部
１７、２７、４７ 記録部
１９ コンバージョンレンズ
３５ 端末装置
３６ 撮像装置
４５ 端末装置
４８ 第一撮像部
４９ 第二撮像部
５０ 端末装置
５１ 第一撮像部
５２ 第二撮像部
５３ 照明用光源
５４ フード
５５ ミラー部
６０、６１ 端末装置
８０ 鏡面
９０ サーバ
９３ 制御部
９７ 記録部
１００ ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】