特許 6373265 情報処理装置および情報処理装置の制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6373265

(24)【登録日】2018年7月27日

(45)【発行日】2018年8月15日

(54)【発明の名称】情報処理装置および情報処理装置の制御方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20180806BHJP

   A61B 5/00 20060101ALI20180806BHJP

【ＦＩ】

   H04N5/232 220

   H04N5/232 190

   H04N5/232 290

   H04N5/232 945

   A61B5/00 M

【請求項の数】18

【全頁数】27

(21)【出願番号】特願2015-528137(P2015-528137)

(86)(22)【出願日】2014年7月16日

(86)【国際出願番号】JP2014003772

(87)【国際公開番号】WO2015011898

(87)【国際公開日】20150129

【審査請求日】2017年1月23日

(31)【優先権主張番号】特願2013-151759(P2013-151759)

(32)【優先日】2013年7月22日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】514136668

【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ

【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100101683

【弁理士】

【氏名又は名称】奥田 誠司

(74)【代理人】

【識別番号】100155000

【弁理士】

【氏名又は名称】喜多 修市

(74)【代理人】

【識別番号】100180529

【弁理士】

【氏名又は名称】梶谷 美道

(74)【代理人】

【識別番号】100125922

【弁理士】

【氏名又は名称】三宅 章子

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部 英隆

(74)【代理人】

【識別番号】100188813

【弁理士】

【氏名又は名称】川喜田 徹

(74)【代理人】

【識別番号】100184985

【弁理士】

【氏名又は名称】田中 悠

(74)【代理人】

【識別番号】100202197

【弁理士】

【氏名又は名称】村瀬 成康

(72)【発明者】

【氏名】新井 稔也

(72)【発明者】

【氏名】内田 真司

(72)【発明者】

【氏名】池田 雅子

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開２００７−１５７１１５（ＪＰ，Ａ）

【文献】 特開２００５−００５７９１（ＪＰ，Ａ）

【文献】 特開２００５−１６７７８９（ＪＰ，Ａ）

【文献】 特開２００５−２８４２２５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ａ６１Ｂ ５／００

(57)【特許請求の範囲】

【請求項1】

画像を入力するカメラ及び前記カメラの画像入力側と同一側に表示面を有するディスプレイを有する情報処理装置を制御する制御方法であって、
前記カメラから被写体の顔の画像を入力し、入力された前記画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示する情報処理装置のコンピュータに、
前記情報処理装置と前記被写体の顔に含まれる基準部分との間の距離を検出させ、
前記被写体の顔の画像を評価するための基準距離と前記検出された距離との比率に応じた倍率を決定させ、
前記決定された倍率に基づいて、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像として、前記ディスプレイに表示させる、制御方法。

【請求項2】

前記基準距離と前記検出された距離との差異が所定範囲内になったと判断された場合、前記カメラを動作させて前記被写体の画像を撮像させる、請求項１に記載の制御方法。

【請求項3】

前記情報処理装置は前記カメラの画像入力側と同一側に光の照射口を有する照明装置を備え、
前記被写体の画像を撮像するときに、前記照明装置を動作させて前記被写体に光を照射させる、請求項２に記載の制御方法。

【請求項4】

前記撮像させた画像は、前記被写体の顔の評価に用いられる画像である、請求項２に記載の制御方法。

【請求項5】

前記ガイド画像は、前記被写体の顔の画像に重畳して前記ディスプレイに表示される、請求項１から４のいずれかに記載の制御方法。

【請求項6】

前記少なくとも一部の部位に対応した画像は、前記少なくとも一部の部位の輪郭に対応した形状を有する、請求項１から５のいずれかに記載の制御方法。

【請求項7】

前記少なくとも一部の部位の輪郭に対応した形状は、眼、鼻、口のうちの少なくとも一つに対応した形状を含む、請求項６に記載の制御方法。

【請求項8】

前記少なくとも一部の部位に対応した画像は、前記被写体の顔の輪郭、又は前記被写体の顔に含まれる眼、鼻又は口の輪郭に対応した形状を有する、請求項１から５のいずれかに記載の制御方法。

【請求項9】

前記基準部分は、前記被写体の顔に含まれる複数の部分であり、
前記距離は、前記情報処理装置と前記被写体の顔に含まれる複数の基準部分それぞれとの間の平均距離である、請求項１から８のいずれかに記載の制御方法。

【請求項10】

前記複数の部分は、前記被写体の顔の左右からそれぞれ一以上選択されている、請求項９に記載の制御方法。

【請求項11】

前記複数の部分は、前記被写体の顔の所定の基準点の上下からそれぞれ一以上選択されている、請求項９に記載の制御方法。

【請求項12】

前記拡大した画像に含まれる少なくとも一部の部位に対応した画像は、前記被写体の顔を前記情報処理装置に近づける方向に前記被写体を誘導するガイド画像であり、
前記縮小した画像に含まれる少なくとも一部の部位に対応した画像は、前記被写体の顔を前記情報処理装置から遠ざける方向に前記被写体を誘導するガイド画像である、請求項１から１１のいずれかに記載の制御方法。

【請求項13】

前記ガイド画像は、前記検出された距離を前記基準距離に近づけるように前記被写体を誘導する画像である、請求項１から１２のいずれかに記載の制御方法。

【請求項14】

前記被写体の顔の画像の評価は、前記被写体の顔の肌分析を含む、請求項１から１３のいずれかに記載の制御方法。

【請求項15】

前記検出された距離は、前記情報処理装置が有するカメラと前記被写体の顔における前記基準部分との間の距離である、請求項１から１４のいずれかに記載の制御方法。

【請求項16】

画像を入力するカメラと、
前記カメラの画像入力側と同一側に表示面を有するディスプレイと、
前記カメラを用いて入力した被写体の顔の画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示するコントローラと、
を具備した情報処理装置であって、
前記コントローラは、
前記情報処理装置と前記被写体の顔の画像に含まれる基準部分との間の距離を検出し、
前記被写体の顔の画像を評価するための基準距離と前記検出された距離との比率に応じた倍率を決定し、
前記決定された倍率に基づいて、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像として、前記ディスプレイに表示させる、情報処理装置。

【請求項17】

画像を入力するカメラ及び前記カメラの画像入力側と同一側に表示面を有するディスプレイを有する情報処理装置を制御するプログラムであって、
前記カメラから被写体の顔の画像を入力し、入力された前記画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示する情報処理装置のコンピュータに、
前記情報処理装置と前記被写体の顔に含まれる基準部分との間の距離を検出させ、
前記被写体の顔の画像を評価するための基準距離と前記検出された距離との比率に応じた倍率を決定させ、
前記決定された倍率に基づいて、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像として、前記ディスプレイに表示させる、プログラム。

【請求項18】

画像を入力するカメラ及び前記カメラの画像入力側と同一側に表示面を有するディスプレイを有する情報処理装置を制御する制御方法であって、
前記カメラから被写体の顔の画像を入力し、入力された前記画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示する情報処理装置のコンピュータに、
前記カメラと前記被写体の顔に含まれる基準部分との間の距離を検出させ、
前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像であって、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応したガイド画像を前記ディスプレイに表示させ、
前記検出した距離が前記被写体の顔の画像を評価するための基準距離よりも小さいと判断した場合は、縮小した顔画像の少なくとも一部の部位に対応したガイド画像を前記ディスプレイに表示させ、
前記検出した距離が前記被写体の顔の画像を評価するための基準距離よりも大きいと判断した場合は、拡大した顔画像の少なくとも一部に対応したガイド画像を前記ディスプレイに表示させる、制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ユーザの顔を撮像可能な情報処理装置およびその制御方法に関する。

【背景技術】

【0002】

人間の顔の肌をカメラで撮像し、撮像した画像から肌の状態を評価する情報処理装置および情報処理装置の制御方法が検討されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第４４８５８３７号公報

【特許文献2】特許第５２０６５１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、上記情報処理装置および情報処理装置の制御方法は更なる改善が必要であった。

【課題を解決するための手段】

【0005】

本開示の一態様に係る制御方法は、画像を入力するカメラ及びカメラの画像入力側と同一側に表示面を有するディスプレイを有する情報処理装置を制御する制御方法であって、カメラから被写体の顔の画像を入力し、入力画像を左右反転し、左右反転した画像をディスプレイに表示する情報処理装置のコンピュータに、情報処理装置と被写体の顔に含まれる基準部分との間の距離を検出させ、被写体の顔の画像を評価するための基準距離と検出された距離との比率に応じた倍率を決定させ、決定された倍率に基づいて、左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、情報処理装置と被写体との間の距離を変更する方向に被写体を誘導するガイド画像として、ディスプレイに表示させる。

【発明の効果】

【0006】

上記態様により、更なる改善を実現できた。

【図面の簡単な説明】

【0007】

【図1】（ａ）は実施形態に係る情報処理装置を示す図であり、（ｂ）は実施形態に係る制御装置の構成を示す図であり、（ｃ）は実施形態に係るクラウドサーバの構成を示す図である。

【図2】（ａ）および（ｂ）は、実施形態に係る情報処理装置の構成要素の配置例を示す図である。

【図3】（ａ）から（ｃ）は、実施形態に係るガイド画像を説明する図である。

【図4】（ａ）から（ｃ）は、実施形態に係るマーカー画像とガイド画像の位置関係を示す図である。

【図5】（ａ）は実施形態に係るガイド画像を示す図であり、（ｂ）は実施形態に係る基本顔ガイド画像を示す図である。

【図6】実施形態に係る処理回路を示す図である。

【図7】実施形態に係る処理回路の動作を示すフローチャートである。

【図8】実施形態に係る情報処理装置とマーカーとの間の距離を計算する方法を説明する図である。

【図9】実施形態に係る情報処理装置を示す図である。

【図10】実施形態に係る処理回路を示す図である。

【図11】実施形態に係る処理回路の動作を示すフローチャートである。

【図12】実施形態に係る基本顔ガイド画像を示す図である。

【図13】実施形態に係る距離と画像サイズとの関係を示す図である。

【図14】（ａ）および（ｂ）は、実施形態に係るガイド画像のサイズを計算する方法を説明する図である。

【図15】（ａ）から（ｅ）は、実施形態に係る誘導画像を生成してユーザを誘導する処理を説明する図である。

【図16】実施形態に係る処理回路の動作を示すフローチャートである。

【図17】（ａ）から（ｄ）は、実施形態に係る誘導画像を生成する処理を説明する図である。

【図18】（ａ）から（ｄ）は、実施形態に係る表示エリアに表示される画像の例を説明する図である。

【図19】（ａ）および（ｂ）は、実施形態に係る表示エリアに表示される画像の例を説明する図である。

【図20】（ａ）および（ｂ）は、実施形態に係る表示エリアに表示される画像の例を説明する図である。

【図21】実施形態に係るサービスの類型１（自社データセンタ型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。

【図22】実施形態に係るサービスの類型２（ＩａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。

【図23】実施形態に係るサービスの類型３（ＰａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。

【図24】実施形態に係るサービスの類型４（ＳａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。

【発明を実施するための形態】

【0008】

（本発明の基礎となった知見）
人間の顔の肌をカメラで撮像し、得られた肌画像に基づいて肌の状態を評価する装置がある。例えば、特許文献１は、肌表面から離れた場所に設置したカメラで撮像した肌画像に基づいて、肌の状態を評価する皮膚画像処理装置を開示している。特許文献１の皮膚画像処理装置では、カメラと肌表面との間の距離が適切な状態で撮像するために、ユーザの顎を台に乗せ、額を押さえに押し当てて顔を固定する。このユーザの顔を固定した状態で、カメラが顔との距離を一定に保ちながら移動して顔の肌表面を撮像し、得られた肌画像に基づいて、色素沈着、毛穴、しわ等の肌状態の評価を行なっている。

【0009】

また、肌の状態を評価する技術分野とは異なるが、特許文献２は、車の運転者の表情を認識するために、運転者に対して顔の撮像に適した撮像位置を知らせる撮影補助装置を開示している。

【0010】

ここで、ユーザの顔を撮像する場合、ユーザの顔とカメラとの間の距離を一定にして撮像することで、肌表面の評価に適した画像が取得できると考えられる。具体的には、この距離が撮像の都度変化しないことにより、同一条件でユーザの顔を撮像することができ、過去と現在の肌状態の比較が容易となる。

【0011】

しかし、特許文献１の皮膚画像処理装置ではユーザの顎および額を器具で固定して撮像を行なっており、このようにユーザの顎および額を器具で固定する方法では、装置が大がかりになるとともに、自然な状態での撮像ができないという課題がある。また、顎および額を器具で固定することはユーザにとって煩わしいという課題があるとともに、固定器具と接する肌領域の画像を取得することができない。

【0012】

また、特許文献２の撮影補助装置では、撮像した運転者の顔画像とともに基準点を表示装置に表示し、運転者の顔画像の目や鼻の位置をその基準点の位置に合わせるように誘導して、運転者の顔を撮像に適した位置に移動させている。そのため、ユーザに顔の移動を促すことができるのは、表示画面上における上下左右方向に対してのみであり、ユーザとカメラとを結ぶ軸方向（ユーザの顔の前後方向）における適切な位置（ユーザとカメラとの間の適切な距離）をユーザに認識させたり、ユーザとカメラとを結ぶ軸方向の移動を促したりすることはできない。

【0013】

そこで、上記課題を解決するために、以下の改善策を検討した。

【0014】

情報処理装置を制御する制御方法の一態様は、画像を入力するカメラ及び前記カメラの画像入力側と同一側に表示面を有するディスプレイを有する情報処理装置を制御する制御方法であって、前記カメラから被写体の顔の画像を入力し、前記入力画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示する情報処理装置のコンピュータに、前記情報処理装置と前記被写体の顔に含まれる基準部分との間の距離を検出させ、前記被写体の顔の画像を評価するための基準距離と前記検出された距離との比率に応じた倍率を決定させ、前記決定された倍率に基づいて、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像として、前記ディスプレイに表示させる。

【0015】

上記態様によると、前記情報処理装置と前記被写体の顔に含まれる基準部分との間の距離を検出させ、前記被写体の顔の画像を評価するための基準距離と前記検出された距離との比率に応じた倍率を決定させ、前記決定された倍率に基づいて、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像として、前記ディスプレイに表示させる。

【0016】

これにより、例えば、ユーザが前記情報処理装置によって顔の画像を撮像する場合、検出された前記情報処理装置から被写体であるユーザの顔に含まれる基準部分までの距離と、顔の画像を評価するための基準距離との比率に応じて、前記情報処理装置に対する距離を変更するようにユーザの顔を誘導するガイド画像がディスプレイに表示され、例えば、ユーザは前記ガイド画像に従って自身の顔の位置を動かして前記情報処理装置に対する距離を変更する。

【0017】

そのため、前記情報処理装置とユーザの顔との間の距離を一定にして顔の画像を撮像させることができる。ここでは、この距離を一定にして顔の画像を撮像するために顔の一部を器具などで固定する必要がないため、装置を簡略化することができるとともに、自然な状態で顔の画像を撮像でき、装置へ自らの顔を固定するというユーザにとっての煩わしさも生じない。

【0018】

さらに、例えば、日ごとに撮像を行う場合は、それぞれの撮像を同一条件で行うことができるため、過去の肌状態と現在の肌状態との比較が容易となる。

【0019】

また、例えば、撮像された顔の画像に基づいて肌状態の評価を行う場合、例えば、撮像された顔の画像において肌表面のシミまたはシワと判断された箇所の大きさを、撮像された画像における画素の数を数えることで測定することが可能となる。

【0020】

上記態様において、例えば、前記基準距離と前記検出された距離との差異が所定範囲内になったと判断された場合、前記カメラを動作させて前記被写体の画像を撮像させてもよい。

【0021】

上記態様では、前記基準距離と前記検出された距離との差異が所定範囲内になったと判断された場合、前記カメラを動作させて前記被写体の画像を撮像させる。

【0022】

これにより、前記情報処理装置と被写体であるユーザの顔との間の距離が一定の状態で顔の画像が撮像される。そのため、被写体の画像を撮像するたびに異なる距離で画像が撮像されることを防止でき、同一条件で撮像された画像を得ることができる。

【0023】

上記態様において、例えば、前記情報処理装置は前記カメラの画像入力側と同一側に光の照射口を有する照明装置を備え、前記被写体の画像を撮像するときに、前記照明装置を動作させて前記被写体に光を照射させるとしてもよい。

【0024】

上記態様では、前記被写体の画像を撮像するときに、照明装置を動作させて前記被写体に光を照射させる。

【0025】

これにより、撮像された画像における被写体への光の当たり方が一定となり、前記情報処理装置と被写体であるユーザの顔の基準部分との間の距離が一定となるだけでなく、被写体の顔への光の照射度合いも一定として、同一条件で撮像された画像を取得できる。

【0026】

上記態様において、例えば、前記撮像させた画像は、前記被写体の顔の評価に用いられる画像であるとしてもよい。

【0027】

上記態様では、前記撮像させた前記被写体の画像を前記ユーザの顔の評価に用いる。

【0028】

これにより、前記情報処理装置と被写体であるユーザの顔との間の距離が一定という同一条件のもとで撮像された画像がユーザの顔の評価に用いられる。

【0029】

そのため、例えば、複数の異なる時刻または日にちに撮像されたユーザの顔の画像を比較する場合に、画像のスケールまたはオーダーなどを一致させる前処理が不要となり、画像の比較が容易となる。

【0030】

上記態様において、例えば、前記基準距離は、カメラの焦点距離であるとしてもよい。

【0031】

上記態様では、カメラの焦点距離は固定であり、前記被写体の画像を撮像するときに、カメラの焦点距離に対して最適な距離で撮像することになる。これにより、前記被写体の画像は焦点距離にあった鮮明な画像になり、被写体の顔を解析した際の精度が向上する。

【0032】

上記態様において、例えば、前記被写体の顔の評価を行う指標ごとに、専門家による官能評価の結果と最も近くなるような距離を経験的に求めておき、前記被写体の顔の評価を行う指標ごとに、評価指標に基づいて決定するとしてもよい。

【0033】

上記態様では、評価を行う指標ごとに基準距離を変えて撮影する。これにより前記被写体の顔の評価が専門家による官能評価に近くなり、評価制度が向上する。

【0034】

上記態様において、例えば、前記ガイド画像は、前記被写体の顔の画像に重畳して前記ディスプレイに表示されるとしてもよい。

【0035】

上記態様では、前記ガイド画像は、前記被写体の顔の画像に重畳して前記ディスプレイに表示される。

【0036】

これにより、ユーザは前記ディスプレイに表示される自身の顔を確認しながら、前記ガイド画像に従って自身の顔の位置を移動させる。そのため、ユーザが自分で顔の状態を確認しつつ、同一条件で撮像された画像を取得するために前記ガイドに従って前記情報処理装置とユーザの顔との間の距離を一定にできる。

【0037】

上記態様において、例えば、前記左右反転した顔の画像に含まれる、前記少なくとも一部の部位に対応した画像と同じ部位の画像を、前記情報処理装置と前記被写体との間の現在の距離を提示する基本顔ガイド画像として、前記ディスプレイに表示させるとしてもよい。

【0038】

上記態様では、前記基本顔ガイド画像は、前記被写体の顔の画像に重畳して前記ディスプレイに表示される。これにより、ユーザは前記ディスプレイに表示される前記基本顔ガイド画像を確認しながら、前記ガイド画像に従って自身の顔の位置を移動させる。そのため、ユーザが前記ガイド画像に従って、どのように顔を移動させれば良いかを視認しやすい。

【0039】

上記態様において、例えば、前記少なくとも一部の部位に対応した画像は、前記少なくとも一部の部位の輪郭に対応した形状を有するとしてもよい。

【0040】

上記態様において、例えば、前記基本顔ガイド画像は、前記少なくとも一部の部位の輪郭に対応した形状を有するとしてもよい。

【0041】

上記態様では、前記少なくとも一部の部位に対応した画像および前記基本顔ガイド画像は、前記少なくとも一部の部位の輪郭に対応した形状を有する。

【0042】

そのため、ユーザは前記ディスプレイに表示されたガイド画像にユーザ自身の顔の部位の輪郭または基本顔ガイド画像を合わせるように顔の位置を移動させるだけで、前記情報処理装置と被写体であるユーザの顔との間の距離を一定にできる。また、ユーザは、この距離を一定とした画像を撮像するためにどのように顔を移動させれば良いかを視認しやすい。

【0043】

上記態様において、例えば、前記少なくとも一部の部位の輪郭に対応した形状は、眼、鼻、口のうちの少なくとも一つに対応した形状を含むとしてもよい。

【0044】

上記態様では、前記少なくとも一部の部位の輪郭に対応した形状は、眼、鼻、口のうちの少なくとも一つに対応した形状を含む。

【0045】

そのため、ユーザは前記ディスプレイに表示されたガイド画像に、ユーザ自身の眼、鼻、口のうちの少なくとも一つの部位を合わせるように顔の位置を移動させるだけで、前記情報処理装置とユーザの顔との間の距離を一定にできる。また、ユーザは、この距離を一定とした画像を撮像するためにどのように顔を移動させれば良いかを視認しやすい。

【0046】

上記態様において、例えば、前記少なくとも一部の部位に対応した画像は、前記被写体の顔の輪郭、又は前記被写体の顔に含まれる眼、鼻又は口の輪郭に対応した形状を有するとしてもよい。

【0047】

上記態様において、例えば、前記基本顔ガイド画像は、前記被写体の顔の輪郭、又は前記被写体の顔に含まれる眼、鼻又は口の輪郭に対応した形状を有するとしてもよい。

【0048】

上記態様では、前記少なくとも一部の部位に対応した画像および前記基本顔ガイド画像は、前記被写体の顔の輪郭、又は前記被写体の顔に含まれる眼、鼻又は口の輪郭に対応した形状を有する。

【0049】

そのため、ユーザは前記ディスプレイに表示されたガイド画像にユーザ自身の顔の輪郭、又は眼、鼻、若しくは口の輪郭または基本顔ガイド画像を合わせるように顔の位置を移動させるだけで、前記情報処理装置とユーザの顔との間の距離を一定にできる。また、ユーザは、この距離を一定とした画像を撮像するためにどのように顔を移動させれば良いかを視認しやすい。

【0050】

上記態様において、例えば、前記基準部分は、前記被写体の顔に含まれる複数の部分であり、前記距離は、前記情報処理装置と前記被写体の顔に含まれる複数の基準部分それぞれとの間の平均距離であるとしてもよい。

【0051】

上記態様では、前記基準部分は、前記被写体の顔に含まれる複数の部分であり、前記距離は、前記情報処理装置と前記被写体の顔に含まれる複数の基準部分それぞれとの間の平均距離である。

【0052】

これにより、前記情報処理装置と被写体であるユーザの顔の間の距離を検出するにあたってユーザの顔の凹凸の影響を軽減できる。例えば、鼻の出っ張りまたは眼の窪みなどを基準部分とした場合に、前記情報処理装置から顔の肌の大部分を占める額および頬までの距離とは乖離した値が検出されることを防止できる。

【0053】

そのため、前記情報処理装置と被写体であるユーザの顔の間の距離を、前記基準距離へ精度よく近づけるガイド画像をディスプレイへ表示可能となり、撮像した画像に基づく肌分析の精度を向上できる。

【0054】

上記態様において、例えば、前記複数の部分は、前記被写体の顔の左右から同一数選択されているとしてもよい。

【0055】

上記態様において、例えば、前記複数の部分は、前記被写体の顔の所定の基準点の上下から同一数選択されているとしてもよい。

【0056】

上記態様において、例えば、前記拡大した画像に含まれる少なくとも一部の部位に対応した画像は、前記被写体の顔を前記情報処理装置に近づける方向に前記被写体を誘導するガイド画像であり、前記縮小した画像に含まれる少なくとも一部の部位に対応した画像は、前記被写体の顔を前記情報処理装置から遠ざける方向に前記被写体を誘導するガイド画像であるとしてもよい。

【0057】

上記態様において、例えば、前記ガイド画像は、前記検出された距離を前記基準距離に近づけるように前記被写体を誘導する画像であるとしてもよい。

【0058】

上記態様では、前記ガイド画像は、前記検出された距離を前記基準距離に近づけるように前記被写体を誘導する画像である。

【0059】

これにより、ユーザに対して、前記情報処理装置とユーザの顔との間の距離を基準距離に近づけるよう誘導でき、ユーザが誘導に従うことで、前記情報処理装置とユーザの顔との間の距離が一定の状態で撮像された画像を取得できる。

【0060】

上記態様において、例えば、前記被写体の顔の画像の評価は、前記被写体の顔の肌分析を含むとしてもよい。

【0061】

上記態様において、例えば、前記検出された距離は、前記情報処理装置が有するカメラと前記ユーザの顔における前記基準部分との間の距離であるとしてもよい。

【0062】

また、本開示に係る情報処理装置の一態様は、画像を入力するカメラと、前記カメラの画像入力側と同一側に表示面を有するディスプレイと、前記カメラを用いて入力した被写体の顔の画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示するコントローラとを具備した情報処理装置であって、前記コントローラは、前記情報処理装置と前記被写体の顔の画像に含まれる基準部分との間の距離を検出し、前記被写体の顔の画像を評価するための基準距離と前記検出された距離との比率に応じた倍率を決定し、前記決定された倍率に基づいて、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像として、前記ディスプレイに表示させる。

【0063】

上記態様によると、前記情報処理装置と前記被写体の顔に含まれる基準部分との間の距離を検出させ、前記被写体の顔の画像を評価するための基準距離と前記検出された距離との比率に応じた倍率を決定させ、前記決定された倍率に基づいて、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像として、前記ディスプレイに表示させる。

【0064】

これにより、例えば、ユーザが前記情報処理装置によって顔の画像を撮像する場合、検出された前記情報処理装置から被写体であるユーザの顔に含まれる基準部分までの距離と、顔の画像を評価するための基準距離との比率に応じて、前記情報処理装置に対する距離を変更するようにユーザの顔を誘導するガイド画像がディスプレイに表示され、例えば、ユーザは前記ガイド画像に従って自身の顔の位置を動かして前記情報処理装置に対する距離を変更する。

【0065】

そのため、前記情報処理装置とユーザの顔との間の距離を一定にして顔の画像を撮像させることができる。ここでは、この距離を一定にして顔の画像を撮像するために顔の一部を器具などで固定する必要がないため、装置を簡略化することができるとともに、自然な状態で顔の画像を撮像でき、装置へ自らの顔を固定するというユーザにとっての煩わしさも生じない。

【0066】

さらに、例えば、日ごとに撮像を行う場合は、それぞれの撮像を同一条件で行うことができるため、過去の肌状態と現在の肌状態との比較が容易となる。

【0067】

また、例えば、撮像された顔の画像に基づいて肌状態の評価を行う場合、例えば、撮像された顔の画像において肌表面のシミまたはシワと判断された箇所の大きさを、撮像された画像における画素の数を数えることで測定することが可能となる。

【0068】

また、本開示に係る情報処理装置を制御するプログラムの一態様は、画像を入力するカメラ及び前記カメラの画像入力側と同一側に表示面を有するディスプレイを有する情報処理装置を制御するプログラムであって、前記カメラから被写体の顔の画像を入力し、前記入力画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示する情報処理装置のコンピュータに、前記情報処理装置と前記被写体の顔に含まれる基準部分との間の距離を検出させ、前記被写体の顔の画像を評価するための基準距離と前記検出された距離との比率に応じた倍率を決定させ、前記決定された倍率に基づいて、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像として、前記ディスプレイに表示させる。

【0069】

上記態様によると、前記情報処理装置と前記被写体の顔に含まれる基準部分との間の距離を検出させ、前記被写体の顔の画像を評価するための基準距離と前記検出された距離との比率に応じた倍率を決定させ、前記決定された倍率に基づいて、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応した画像を、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像として、前記ディスプレイに表示させる。

【0070】

これにより、例えば、ユーザが前記情報処理装置によって顔の画像を撮像する場合、検出された前記情報処理装置から被写体であるユーザの顔に含まれる基準部分までの距離と、顔の画像を評価するための基準距離との比率に応じて、前記情報処理装置に対する距離を変更するようにユーザの顔を誘導するガイド画像がディスプレイに表示され、例えば、ユーザは前記ガイド画像に従って自身の顔の位置を動かして前記情報処理装置に対する距離を変更する。

【0071】

そのため、前記情報処理装置とユーザの顔との間の距離を一定にして顔の画像を撮像させることができる。ここでは、この距離を一定にして顔の画像を撮像するために顔の一部を器具などで固定する必要がないため、装置を簡略化することができるとともに、自然な状態で顔の画像を撮像でき、装置へ自らの顔を固定するというユーザにとっての煩わしさも生じない。

【0072】

さらに、例えば、日ごとに撮像を行う場合は、それぞれの撮像を同一条件で行うことができるため、過去の肌状態と現在の肌状態との比較が容易となる。

【0073】

また、例えば、撮像された顔の画像に基づいて肌状態の評価を行う場合、例えば、撮像された顔の画像において肌表面のシミまたはシワと判断された箇所の大きさを、撮像された画像における画素の数を数えることで測定することが可能となる。

【0074】

また、情報処理装置を制御する制御方法の他の態様は、画像を入力するカメラ及び前記カメラの画像入力側と同一側に表示面を有するディスプレイを有する情報処理装置を制御する制御方法であって、前記カメラから被写体の顔の画像を入力し、前記入力画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示する情報処理装置のコンピュータに、前記情報処理装置と前記被写体の顔との間の距離を変更する方向に前記被写体を誘導するガイド画像であって、前記顔の画像における基準部分の基準サイズに対応したガイド画像を前記ディスプレイに表示させる。

【0075】

また、情報処理装置を制御する制御方法の他の態様は、画像を入力するカメラ及び前記カメラの画像入力側と同一側に表示面を有するディスプレイを有する情報処理装置を制御する制御方法であって、前記カメラから被写体の顔の画像を入力し、前記入力画像を左右反転し、前記左右反転した画像を前記ディスプレイに表示する情報処理装置のコンピュータに、前記カメラと前記被写体の顔に含まれる基準部分との間の距離を検出させ、前記情報処理装置と前記被写体との間の距離を変更する方向に前記被写体を誘導するガイド画像であって、前記左右反転した顔の画像を拡大又は縮小した画像に含まれる少なくとも一部の部位に対応したガイド画像を前記ディスプレイに表示させ、前記検出した距離が前記被写体の顔の画像を評価するための基準距離よりも小さいと判断した場合は、縮小した顔画像の少なくとも一部の部位に対応したガイド画像を前記ディスプレイに表示させ、前記検出した距離が前記被写体の顔の画像を評価するための基準距離よりも大きいと判断した場合は、拡大した顔画像の少なくとも一部に対応したガイド画像を前記ディスプレイに表示させる。

【0076】

以下、図面を参照しながら、実施形態に係る情報処理装置およびその制御方法を説明する。

【0077】

図１（ａ）は、実施形態に係る情報処理装置１０１を示す図である。情報処理装置１０１は、カメラ１０と、光源１２と、ディスプレイ１４と、制御装置１８とを備える。図１（ｂ）は、制御装置１８の構成を示す図である。制御装置１８は、マイクロコンピュータ１８Ａと、メモリ１８Ｂと、通信部１８Ｃとを備える。マイクロコンピュータ１８Ａは、以下に説明する動作を含む情報処理装置１０１全体の動作を制御する。また、マイクロコンピュータ１８Ａは、画像処理等の以下に説明する各種処理を実行する。例えば、情報処理装置１０１の各動作を制御するためのコンピュータプログラムがメモリ１８Ｂに記憶されており、マイクロコンピュータ１８Ａは、そのコンピュータプログラムに従って、情報処理装置１０１の各構成要素の動作を制御したり、画像処理等の各種処理を実行したりする。

【0078】

カメラ１０は、ユーザ２１の顔を撮像し、顔の画像データを取得する。この際、本実施形態では、画像の特徴指標をより正確に算出するために、偏光光を出射する光源１２（照明装置）を用いる。

【0079】

図２（ａ）および図２（ｂ）は、情報処理装置１０１のカメラ１０、光源１２およびディスプレイ１４の配置を示す正面図および側面図である。本実施形態では、光源１２は、ディスプレイ１４の上に設けられており、光源１２は、第１光源１２Ａおよび第２光源１２Ｂを含む。ディスプレイ１４は、カメラ１０の画像入力側と同一側に表示面を有している。また、光源１２はカメラ１０の画像入力側と同一側に光の出射口を有している。

【0080】

図２（ｂ）に示すように、情報処理装置１０１を用いて肌の分析を行なう場合、ユーザは、ディスプレイ１４から例えば距離ｘ程度離れた位置に顔２１を保持する。このとき、ユーザの顔２１はカメラ１０から例えば距離ｉ程度離れた位置にある。この状態で適切な大きさおよび解像度で顔全体が撮影可能なように、カメラ１０の光学系が設定されている。ディスプレイ１４の大きさの一例は、幅Ｗが３０ｃｍ程度であり、高さＨは５０ｃｍ程度である。また、距離ｘは、３０ｃｍから７０ｃｍ程度であり、例えば４５ｃｍ程度である。また、距離ｉは、３０ｃｍから７０ｃｍ程度であり、例えば４７ｃｍ程度である。

【0081】

ディスプレイ１４は、左右反転された顔画像データを表示エリア１６に表示する。また、マイクロコンピュータ１８Ａは、得られた顔画像データに基づいてガイド画像を生成し、ディスプレイ１４はガイド画像を表示する。ガイド画像は、情報処理装置１０１とユーザの顔２１との間の距離を変更する方向にユーザを誘導するガイドの役割を果たす。なお、ディスプレイ１４の表示エリア１６にはタッチパネルなどのユーザーインターフェースが設けられていてもよい。

【0082】

制御装置１８は、通信部１８Ｃおよび通信ネットワーク１９を介して、肌の分析および評価に関するサービスを提供するサービス提供者のクラウドサーバ１０２と接続されてもよい。この場合、通信部１８Ｃは、撮像された画像、画像の特徴指標、肌の評価値などをクラウドサーバ１０２へ送信する。図１（ａ）では、情報処理装置１０１は１つしか示されていないが、クラウドサーバ１０２は、複数の情報処理装置１０１に接続され得る。

【0083】

図１（ｃ）は、クラウドサーバ１０２の構成を示す図である。クラウドサーバ１０２は、マイクロコンピュータ１０２Ａと、メモリ１０２Ｂと、通信部１０２Ｃと、データベース１０２Ｄとを備える。クラウドサーバ１０２は、通信部１０２Ｃを介して、撮像された画像、画像の特徴指標、肌の評価値などを複数の情報処理装置１０１から受け取る。クラウドサーバ１０２は、複数の情報処理装置１０１から受け取った各データを記憶し、統計データを生成したり、データ同士の相関関係を求めたりする。また、通信部１０２Ｃを介して、それら統計データや相関関係を各情報処理装置１０１に送信する。

【0084】

次に、情報処理装置１０１とユーザの顔２１との間の距離を変更する方向にユーザを誘導するガイド画像を説明する。図３は、ガイド画像の一例を説明する図である。この例では、サイズが予め分かっているマーカーをユーザの顔の一部に装着し、撮像して得られるマーカー画像３２を用いて、ユーザを誘導する。例えば、ユーザは、マーカーが設けられたカチューシャを額に装着し、このマーカーが顔の基準部分となる。

【0085】

カメラ１０は、カチューシャを装着したユーザの顔を撮像し、顔画像３１を生成する。図３（ａ）は、ディスプレイ１４の表示エリア１６に表示された顔画像３１を示す。表示エリア１６には、ユーザの顔画像３１の一部としてマーカー画像３２が表示される。マーカーの現物のサイズは予め分かっているため、情報処理装置１０１とユーザの顔２１との間の距離が最適距離にあるときに、表示エリア１６に表示されるマーカーの画像サイズも予め分かっている。そのため、撮像して表示されているマーカーの画像サイズが、最適距離における画像サイズとなるようにユーザを誘導することで、ユーザは最適距離の位置に移動することができる。

【0086】

図３（ｂ）は、最適距離にあるときのマーカーの画像サイズに対応したガイド画像３３を示す図である。ガイド画像３３のデータは、例えば、メモリ１８Ｂに予め記憶されており、マイクロコンピュータ１８Ａはそのデータを読み取り、撮像した顔画像３１とガイド画像３３とを重畳した画像をディスプレイ１４に表示させる。図３（ｃ）は、撮像した顔画像３１とガイド画像３３とを重畳して生成した誘導用の画像を示す図である。

【0087】

図４を参照して、ガイド画像３３を用いてユーザを誘導する方法を説明する。図４（ａ）は、情報処理装置１０１とユーザの顔２１との間の距離が最適距離よりも大きいときの、マーカー画像３２とガイド画像３３の関係を示している。図４（ｂ）は、情報処理装置１０１とユーザの顔２１との間の距離が最適距離よりも小さいときの、マーカー画像３２とガイド画像３３の関係を示している。図４（ｃ）は、情報処理装置１０１とユーザの顔２１との間の距離が最適距離であるときの、マーカー画像３２とガイド画像３３の関係を示している。

【0088】

図４（ａ）に示す状態では、ガイド画像３３よりもマーカー画像３２は小さく表示される。ユーザは、マーカー画像３２が大きくなるように情報処理装置１０１に顔を近づけ、図４（ｃ）のようにマーカー画像３２とガイド画像３３のサイズを一致させることで、最適距離に位置することができる。また、図４（ｂ）に示す状態では、ガイド画像３３よりもマーカー画像３２は大きく表示される。ユーザは、マーカー画像３２が小さくなるように情報処理装置１０１から顔を遠ざけ、図４（ｃ）のようにマーカー画像３２とガイド画像３３のサイズを一致させることで、最適距離に位置することができる。このように、ガイド画像３３を用いて、ユーザを最適距離に誘導することができる。

【0089】

なお、マーカー画像３２とガイド画像３３のサイズの比を用いて、ユーザの顔の輪郭に対応したガイドを生成してもよい。マーカーの現物のサイズは予め分かっているので、マーカーと一緒に表示されている顔の実際のサイズを推定することができる。そこから、最適距離にあるときの顔の画像サイズを推定することができる。すなわち、マーカー画像３２とガイド画像３３のサイズの比を用いて、顔画像３１を拡大または縮小することで、図５（ａ）に示すような、最適距離にあるときの顔の輪郭に対応したガイド画像３５を生成することができる。ガイド画像３５は、例えば、ユーザの顔が撮像した画像の中心に配置されるように表示エリア１６の中央部に表示する。

【0090】

また、顔画像３１を拡大または縮小せずに、図５（ｂ）に示すような、顔の輪郭に対応した基本顔ガイド画像３６を生成することができる。基本ガイド画像３６は、例えば、ユーザの顔が撮像した画像の中心に配置されるように表示エリア１６の中央部に表示する。

【0091】

図６は、制御装置１８が備える処理回路１８０を示す図である。図７は、処理回路１８０の動作を説明するフローチャートである。処理回路１８０は、顔画像取得部１８１と、顔検出部１８２と、基準特徴検出部１８３と、特徴分析部１８４と、顔ガイド生成部１８５と、誘導画像生成部１８６とを備える。マイクロコンピュータ１８Ａが処理回路１８０を兼ね、処理回路１８０の構成要素の処理をマイクロコンピュータ１８Ａが実行してもよい。

【0092】

顔画像取得部１８１はカメラ１０が撮像した画像データを取得し（ステップ３０１）、画像データを左右反転させる。顔検出部１８２は画像データ中の顔画像を検出する（ステップ３０２）。顔検出部１８２は、画像データ中の顔画像の大きさに対応した基本顔ガイド画像３６を生成する（ステップ３０３）。

【0093】

基準特徴検出部１８３は、画像データ中の基準特徴部分を検出する（ステップ３０４）。この例では、基準特徴部分はマーカーである。特徴分析部１８４は、画像データ中のマーカー画像３２のサイズを検出する（ステップ３０５）。特徴分析部１８４は、マーカー画像３２のサイズから、情報処理装置１０１とマーカーとの間の距離を計算してもよい。

【0094】

顔ガイド生成部１８５は、マーカー画像３２とガイド画像３３のサイズの比を用いて、最適距離にあるときの顔の画像サイズを計算する。そして、最適距離にあるときの顔画像の輪郭に対応したガイド画像３５を生成する（ステップ３０６）。このとき、ステップ３０３で生成した基本顔ガイド画像３６を修正（拡大または縮小）することでガイド画像３５を生成してもよい。

【0095】

誘導画像生成部１８６は、ガイド画像３５および基本顔ガイド画像３６を顔画像３１に重畳して合成した画像を生成し（ステップ３０７）、ディスプレイ１４は合成画像を、ユーザを誘導する誘導画像として表示する（ステップ３０８）。

【0096】

誘導画像に従ってユーザが顔の位置および傾きを調整している間、特徴分析部１８４は、画像データ中のマーカー画像３２のサイズを分析する（ステップ３０９）。特徴分析部１８４は、マーカー画像３２のサイズが肌分析に適した距離（基準距離）のときのサイズ（ガイド画像３３のサイズ）と一致するか否か評価する（ステップ３１０）。サイズが一致しない場合は、一致するまで分析を続ける。サイズが一致した場合に、カメラ１０はユーザの顔の画像を撮像する（ステップ３１１）。このように、誘導画像に従ってユーザが顔の位置を調整することにより、肌分析に適した距離で撮像を行うことができる。

【0097】

なお、ガイド画像３５の生成は撮像の毎に行なう必要は無く、一旦ガイド画像３５を生成した後は、そのガイド画像３５をメモリ１８Ｂに記憶しておいてもよい。次回の使用時は、その記憶したガイド画像３５を読み出して表示することで、ガイド画像３５を生成する処理を省略することができる。

【0098】

また、ガイド画像３５および基本顔ガイド画像３６として、顔の輪郭に対応したガイド画像および基本顔ガイド画像を例示したが、顔の輪郭以外でもよく、例えば、眼、鼻、口等のうちの少なくとも一つに対応した形状のガイド画像であってもよい。ガイド画像は、例えば、眼、鼻、口の少なくとも一つの部位の周りを囲った形状を有していてもよい。

【0099】

また、情報処理装置１０１と顔２１との間の距離が最適距離に完全に一致した状態でのみ肌分析用の撮像を行なう必要は無く、肌分析に適した画像が得られる距離範囲であればよく、その範囲内に顔が位置したときに肌分析用の撮像を行なってもよい。

【0100】

次に、マーカーを用いて距離を計算する方法を説明する。図８は、情報処理装置１０１とマーカーとの間の距離を計算する方法を説明する図である。情報処理装置１０１とマーカーとの間の距離は、例えば、カメラ１０とマーカーとの間の距離を指す。

【0101】

被写体の実際の長さをａとし、その実際の長さａの被写体を撮像して得られた画像上の被写体の長さをｓ１とする。また、カメラ１０のレンズ中心から被写体へ伸びる直線で形成される視野角をｄ１とし、カメラ１０と被写体との間の距離をｘとする。

【0102】

ここでは、被写体の実際の長さａは、マーカーの上下端（または左右端）の間の実際の長さとする。マーカーの実際の長さａは既知である。また、画像上の被写体の長さｓ１は、マーカーを撮像して得られた画像上のマーカー画像３２の長さとする。視野角ｄ１は、カメラ１０のレンズ中心からマーカーの上下端（または左右端）へ伸びる直線で形成される角度とする。

【0103】

マーカーがカメラ１０に近い位置にあるとき（カメラ１０とマーカーとの間の距離が短いとき）、画像上のマーカーの長さｓ１は大きくなり、また、視野角ｄ１も大きくなる。また、マーカーがカメラ１０から遠い位置にあるとき（カメラ１０とマーカーとの間の距離が長いとき）、画像上のマーカーの長さｓ１は小さくなり、また、視野角ｄ１も小さくなる。すなわち、画像上のマーカーの長さｓ１と、視野角ｄ１とは比例関係にある。

【0104】

画像上のマーカーの長さｓ１と視野角ｄ１との換算関係は予め取得して記憶しておく。例えば、換算関係を、
ｄ１＝ｃ×ｓ１
と表す。ここでｃは比例定数である。

【0105】

カメラ１０とマーカーとの間の距離ｘ、マーカーの実際の長さａ、視野角ｄ１の関係は以下のように表される。
ａ／ｘ＝ｔａｎ ｄ１＝ｔａｎ （ｃ×ｓ１）

【0106】

また、図８中の斜辺の長さを距離ｘとしたとき、距離ｘ、長さａ、視野角ｄ１の関係は、
ａ／ｘ＝ｓｉｎ ｄ１＝ｓｉｎ （ｃ×ｓ１）
と表される。

【0107】

また、マーカーの大きさが小さいときは、
ｃ×ｓ１＝ｄ１＝ａ／ｘ
ｘ＝ａ／（ｃ×ｓ１）
と表すことができる。

【0108】

これらの関係式から、カメラ１０とマーカーとの間の距離ｘを計算することができる。

【0109】

このように計算により求めた距離ｘを用いて、最適距離に対応したガイド画像３５を生成することも可能である。距離に基づいてガイド画像３５を生成する処理の詳細は後述する。

【0110】

次に、測距装置を備えた情報処理装置を説明する。図９は、測距装置１１を備えた情報処理装置１０１を示す図である。図９に示す情報処理装置１０１は、図１に示す情報処理装置１０１に測距装置１１を追加した構成になっている。測距装置１１は、情報処理装置１０１とユーザの顔２１との間の距離を測定する。

【0111】

図１０は、この例における制御装置１８が備える処理回路１８０を示す図である。図１１は、処理回路１８０の動作を説明するフローチャートである。処理回路１８０は、顔画像取得部１８１と、顔検出部１８２と、撮像距離取得部１８７と、距離評価部１８８と、顔ガイド生成部１８５と、誘導画像生成部１８６とを備える。マイクロコンピュータ１８Ａが処理回路１８０を兼ね、処理回路１８０の構成要素の処理をマイクロコンピュータ１８Ａが実行してもよい。

【0112】

顔画像取得部１８１はカメラ１０が撮像した画像データを取得し（ステップ４０１）、画像データを左右反転させる。顔検出部１８２は画像データ中の顔画像を検出する（ステップ４０２）。顔検出部１８２は、画像データ中の顔画像の大きさに対応した基本顔ガイド画像３６を生成する（ステップ４０３）。図１２は、基本顔ガイド画像３６を示す図であり、顔画像３１の大きさに対応したガイド画像になっている。

【0113】

撮像距離取得部１８７は、測距装置１１から距離データを取得する（ステップ４０４）。距離評価部１８８は、測定された距離と最適距離との比較を行なう（ステップ４０５）。

【0114】

顔ガイド生成部１８５は、測定された距離と最適距離の比を用いて、最適距離にあるときの顔の画像サイズを計算する。そして、最適距離にあるときの顔画像の輪郭に対応したガイド画像３５を生成する（ステップ４０６）。このとき、ステップ４０３で生成した基本顔ガイド画像３６を修正（拡大または縮小）することでガイド画像３５を生成してもよい。

【0115】

ここで、図１３、図１４（ａ）および（ｂ）を参照して、ガイド画像のサイズを計算する方法を説明する。

【0116】

最適距離に対応したガイドのサイズは、概ねカメラ１０と顔２１との間の距離に反比例する。被写体の実際の長さをａとし、その実際の長さａの被写体を撮像して得られた画像上の被写体の長さをｓ１およびｓ２とする。また、カメラのレンズ中心から被写体へ伸びる直線で形成される視野角をｄ１およびｄ２とし、カメラ１０と被写体との間の距離をｘおよびｙとする。

【0117】

ここでは、被写体の実際の長さａは、ユーザの頭部の任意の部位同士の間の長さであり、例えば、ユーザの頭頂部から顎の下端までの長さとする。なお、ユーザの頭頂部から顎の下端までの長さは一例であり、これ以外にも、被写体の長さａとしては、額から顎までの長さ、左右の眼の間の長さ、眼から口までの長さ等、任意の部位同士の間の長さを採用することができる。

【0118】

また、画像上の被写体の長さｓ１およびｓ２は、採用した部位同士間の画像上の長さである。視野角ｄ１およびｄ２は、カメラのレンズ中心から採用した部位へ伸びる直線で形成される角度である。距離ｘおよびｙは、カメラと採用した部位との間の距離である。ここで、距離ｘをカメラと採用した部位との間の現在の距離とし、距離ｙは肌分析に適した顔画像を得るのに最適な距離とする。

【0119】

カメラ１０と採用した部位との間の現在の距離ｘ、長さａ、視野角ｄ１の関係は、
ｄ１＝ｓｉｎ^-1（ａ／ｘ）
または、
ｄ１＝ｔａｎ^-1（ａ／ｘ）
と、表される。

【0120】

カメラ１０と採用した部位との間の最適距離ｙ、長さａ、視野角ｄ２の関係は、
ｄ２＝ｓｉｎ^-1（ａ／ｙ）
または、
ｄ２＝ｔａｎ^-1（ａ／ｙ）
と、表される。

【0121】

また、
ｄ１＝ａ／ｘ
ｄ２＝ａ／ｙ
と表すこともできる。

【0122】

画像上の被写体の長さと視野角とは比例関係にあるので、
ｓ２／ｓ１＝ｄ２／ｄ１＝ｘ／ｙ
ｓ２＝（ｘ／ｙ）×ｓ１
と表すことができる。

【0123】

長さｓ１を長さｓ２に変換して得られる顔画像のサイズが、最適距離ｙにおいて得られる顔画像のサイズに対応している。この長さｓ１を長さｓ２に変換して得られる顔画像からガイド画像３５を生成することで、ユーザを最適距離ｙに誘導することができる。

【0124】

例えば、ユーザの顔がカメラに近すぎる場合には、縮小した顔画像からガイド画像３５を生成して、顔をカメラから遠ざける方向にユーザを誘導する。また、ユーザの顔がカメラから離れすぎている場合には、拡大した顔画像からガイド画像３５を生成して、顔をカメラに近づける方向にユーザを誘導する。

【0125】

誘導画像生成部１８６は、ガイド画像３５を顔画像３１に重畳して合成した画像を生成する（ステップ４０７）。

【0126】

図１５は、誘導画像の生成処理を示す図である。図１５（ａ）は顔画像３１を示し、図１５（ｂ）は基本顔ガイド画像３６を示し、図１５（ｃ）はガイド画像３５を示している。図１５（ｄ）に示すように、誘導画像生成部１８６は、顔画像３１にガイド画像３５を重畳して合成画像を生成する。ディスプレイ１４は合成画像を、ユーザを誘導する誘導画像として表示する（ステップ４０８）。ガイド画像３５は、例えば、ユーザの顔が撮像した画像の中心に配置されるように表示エリア１６の中央部に表示する。誘導画像に従ってユーザが顔の位置を移動させることにより、図１５（ｅ）に示すように、顔画像３１とガイド画像３５とが一致し、最適距離で撮像を行うことができる。

【0127】

誘導画像に従ってユーザが顔の位置および傾きを調整している間、撮像距離取得部１８７は、測距装置１１から距離データを取得する（ステップ４０９）。距離評価部１８８は、測定された距離が肌分析に適した距離（基準距離）と一致するか否か評価する（ステップ４１０）。距離が一致しない場合は、一致するまで距離データを取得し続ける。距離が一致した場合に、カメラ１０はユーザの顔の画像を撮像する（ステップ４１１）。このように、誘導画像に従ってユーザが顔の位置を調整することにより、肌分析に適した距離で撮像を行うことができる。

【0128】

なお、情報処理装置１０１と顔２１との間の距離が最適距離ｙに完全に一致した状態でのみ肌分析用の撮像を行なう必要は無く、肌分析に適した画像が得られる距離範囲であればよく、その範囲内に顔が位置したときに肌分析用の撮像を行なってもよい。

【0129】

また、ガイド画像３５の生成は撮像の毎に行なう必要は無く、一旦ガイド画像３５を生成した後は、そのガイド画像３５をメモリ１８Ｂに記憶しておいてもよい。次回の使用時は、その記憶したガイド画像３５を読み出して表示することで、ガイド画像３５を生成する処理を省略することができる。

【0130】

次に、図１６および図１７を参照して、顔の部位毎に距離を測定してガイド画像を生成する処理を説明する。

【0131】

図１６は、この例における処理回路１８０（図１０）の動作を説明するフローチャートである。図１７は、誘導画像の生成処理を示す図である。図１７（ａ）は顔画像３１を示しており、この例では前かがみの顔の画像になっている。図１７（ｂ）は前かがみの顔の画像から得た基本顔部位ガイド画像３６を示している。図１７（ｃ）は、最適距離における真正面の顔画像に対応したガイド画像３５ａを示している。図１７（ｄ）は、顔画像３１にガイド画像３５ａを重畳した合成画像を示している。顔が正面を向いている方が、上下左右のバランスが取れ、肌分析の精度を向上させることができるため、この例のガイドは、斜め方向を向いている顔が正面を向くように誘導する。この例では、ユーザの顔の基準部分としてユーザの顔の複数の部分を採用する。この複数の部分は、ユーザの顔の左右からそれぞれ一以上選択されてもよい。さらに、ユーザの顔の左右から同一数選択されてもよい。また、この複数の部分は、例えばユーザの鼻を基準とした顔の上下からそれぞれ一以上選択されてもよい。さらに、ユーザの鼻突を基準とした顔の上下から同一数選択されてもよい。なお、顔の上下は鼻根または人中などを基準としていてもよく、鼻突に限らない。

【0132】

顔画像取得部１８１はカメラ１０が撮像した画像データを取得し（ステップ５０１）、画像データを左右反転させる。顔検出部１８２は画像データ中の顔画像を検出する（ステップ５０２）。顔検出部１８２は、画像データ中の顔のそれぞれの部位の画像の大きさに対応した基本顔部位ガイド画像３６を生成する（ステップ５０３）。図１７（ｂ）は基本顔部位ガイド画像３６を示している。

【0133】

測距装置１１は、情報処理装置１０１から顔のそれぞれの部位の距離を測定する。撮像距離取得部１８７は、測距装置１１から距離データを取得する（ステップ５０４）。距離評価部１８８は、測定された距離と最適距離との比較を行なう（ステップ５０５）。また、顔のそれぞれの部位の距離データを分析したり、部位間の距離を分析したりして、顔の傾きの度合いを推定する。

【0134】

顔ガイド生成部１８５は、顔のそれぞれの部位毎に、最適距離にあるときのサイズを計算する。顔が傾いている場合には、傾きの度合いを用いて、顔が傾いていないとき（真正面を向いているとき）の顔画像を推定して、サイズと位置を計算する。そして、図１７（ｃ）に示すように、最適距離において顔が真正面を向いているときの画像に対応したガイド画像３５ａを生成する（ステップ５０６）。このとき、ステップ５０３で生成した基本顔部位ガイド画像３６を修正（移動、拡大、縮小等）することでガイド画像３５ａを生成してもよい。また、この処理を、対象の全ての部位について行なう（ステップ５０７）。

【0135】

対象の全ての部位に対応したガイド画像の生成が完了すると、図１７（ｄ）に示すように、誘導画像生成部１８６は、ガイド画像３５ａを顔画像３１に重畳して合成した画像を生成し（ステップ５０８）、ディスプレイ１４は合成画像を、ユーザを誘導する誘導画像として表示する（ステップ５０９）。

【0136】

誘導画像に従ってユーザが顔の位置および傾きを調整している間、撮像距離取得部１８７は、測距装置１１から距離データを取得する（ステップ５１０）。距離評価部１８８は、測定された距離が肌分析に適した距離（基準距離）と一致するか否か評価する（ステップ５１１）。距離が一致しない場合は、一致するまで距離データを取得し続ける。距離が一致した場合に、カメラ１０はユーザの顔の画像を撮像する（ステップ５１２）。このように、誘導画像に従ってユーザが顔の位置および傾きを調整することにより、肌分析に適した距離で撮像を行うことができる。

【0137】

なお、例えば、情報処理装置１０１から顔の左側にある基準部分の距離と、情報処理装置１０１から顔の右側にある基準部分の距離とを比較して所定距離以上の差があった場合に、ユーザの顔が正面を向いておらず斜め右または斜め左を向いていると判断し、ユーザに対して顔の向きの修正を促すメッセージ等をディスプレイ１４に表示しても良い。すなわち、情報処理装置１０１から顔の左側にある基準部分の距離が、情報処理装置１０１から顔の右側にある基準部分の距離より所定距離以上短い場合には、ユーザが斜め右方向を向いていると判断し、ユーザに対して顔の向きを左方向へ修正するよう促すメッセージをディスプレイ１４に表示する。これとは反対に、情報処理装置１０１から顔の右側にある基準部分の距離が、情報処理装置１０１から顔の左側にある基準部分の距離より所定距離以上短い場合には、ユーザが斜め左方向を向いていると判断し、ユーザに対して顔の向きを右方向へ修正するよう促すメッセージをディスプレイ１４に表示する。

【0138】

また、例えば、情報処理装置１０１から顔の上側にある基準部分の距離と、情報処理装置１０１から顔の下側にある基準部分の距離とを比較して所定距離以上の差があった場合に、ユーザの顔が正面を向いておらず斜め上方向または斜め下方向を向いていると判断し、ユーザに対して顔の向きの修正を促すメッセージ等をディスプレイ１４に表示しても良い。すなわち、情報処理装置１０１から顔の上側にある基準部分の距離が、情報処理装置１０１から顔の下側にある基準部分の距離より所定距離以上短い場合には、ユーザが斜め下方向を向いていると判断し、ユーザに対して顔の向きを上向きに修正するよう促すメッセージをディスプレイ１４に表示する。これとは反対に、情報処理装置１０１から顔の下側にある基準部分の距離が、情報処理装置１０１から顔の上側にある基準部分の距離より所定距離以上短い場合には、ユーザが斜め上方向を向いていると判断し、ユーザに対して顔の向きを下向きに修正するよう促すメッセージをディスプレイ１４に表示する。

【0139】

また、基準部分としてユーザの顔２１に含まれる複数の部分を採用した場合は、情報処理装置１０１とユーザの顔２１との間の距離を、情報処理装置１０１とユーザの顔２１に含まれる複数の基準部分それぞれとの間の距離の平均値としてもよい。これにより、情報処理装置１０１と被写体であるユーザの顔２１の間の距離を検出するにあたって、ユーザの顔２１の凹凸の影響を軽減することができる。例えば、鼻の出っ張りまたは眼の窪みなどを基準部分とした場合に、情報処理装置１０１から顔２１の肌の大部分を占める額および頬までの距離とは乖離した値が検出されることを防止できる。そのため、情報処理装置１０１と被写体であるユーザの顔２１の間の距離を、基準距離へ精度よく近づけるガイド画像をディスプレイ１４に表示可能となり、撮像した画像に基づく肌分析の精度を向上させることができる。

【0140】

次に、図１８から図２０を参照して、表示エリア１６に表示される画像の例を説明する。

【0141】

図１８（ａ）は、表示エリア１６に表示される撮像前の初期画面の一例を示している。表示エリア１６は、面積が大きいメイン画面７０と、面積が小さいサブ画面７２とを含む。初期画面では、メイン画面７０に撮像した画像がリアルタイムで表示され、デジタルミラーとして機能している。サブ画面７２には、例えば、時計や天気予報などの情報が表示されてもよい。

【0142】

図１８（ｂ）は、撮像開始直前の画面を示している。メイン画面７０には、例えばユーザの顔の位置を誘導するためのガイド画像３５が表示されている。また、撮像のタイミングを示すマークや数字７４が示されていてもよい。

【0143】

また、例えば、サブ画面７２の右側７２Ｒには撮像された顔の画像がリアルタイムで表示され、左側７２Ｌにカレンダーが表示されてもよい。カレンダーでは、例えば過去に情報処理装置１０１を用いて撮像を行った日の位置にマークなどが示されていてもよい。図１８（ｂ）に示す表示のあと、上述したように肌分析用の撮像が行われ、肌分析が行なわれる。

【0144】

図１８（ｃ）および図１８（ｄ）は、肌分析終了後にディスプレイ１４に表示される画面の一例を示している。メイン画面７０には、カメラ１０によって撮像される画像がリアルタイムで表示されている。サブ画面の右側７２Ｒには算出された特徴指標が、例えばレーダーチャート８２で示される。図では測定した肌領域全体の平均特徴指標が表示されている。また、左側７２Ｌには測定時に撮像された顔の画像が示される。サブ画面７２の上部８０には、顔の位置を指定するメニューが表示され、左側部７８には表示する内容や機能を切り替えるメニューが表示される。ユーザは、例えば、サブ画面７２の上部８０および左側部７８に触れることによって、顔の特定の肌領域を表示させたり、表示する内容を変更したりすることができる。

【0145】

図１８（ｄ）は、ユーザが指定した場所および指定した特徴指標がサブ画面７２の右側７２Ｒに表示されている例である。撮像された画像の一部がユーザの指定された位置で拡大されて表示されている。また、シミおよびシワの部分が、例えば赤い領域で示される。

【0146】

図１９および図２０は、ディスプレイ１４のサブ画面７２に表示される情報の例を示している。例えば、図１９（ａ）に示すように、サブ画面にカレンダーを表示してもよい。カレンダーには過去に測定をおこなった情報が示されており、例えばユーザがサブ画面の該当する情報に触れると過去の測定結果をメイン画面７０に表示させることができる。図１９（ｂ）に示すように、この場合、さらにサブ画面７２に、特徴指標のレーダーチャートを表示してもよい。また、図２０（ａ）に示すように、肌分析の結果に基づく、肌の手入れ等の美容に関するアドバイス８６を表示してもよい。また、図２０（ｂ）に示すように肌状態を改善するための化粧品や美容機器の情報８８を表示してもよい。

【0147】

なお、上記態様において説明された技術は、例えば、クラウドサービスにおいて実現されてもよい。例えば、撮像して取得した顔画像の分析および評価をクラウドサーバ上で行ってもよい。例えば、撮像して取得した顔画像の分析および評価は、以下のサービスの類型１から４のいずれの形態において行われてもよい。しかし、上記態様において説明された技術が実現されるクラウドサービスの類型はこれらに限られるものでない。

【0148】

（サービスの類型１：自社データセンタ型クラウドサービス）
図２１は、サービスの類型１（自社データセンタ型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。本類型では、サービスプロバイダ１２０がグループ１００から情報を取得し、ユーザに対してサービスを提供する。グループ１００は、例えば上述した情報処理装置１０１を所有する家庭であり、サービスプロバイダ１２０は、情報処理装置１０１が撮像して得た顔画像データを取得する。サービスプロバイダ１２０は、複数のグループ１００から顔画像データを取得してもよい。本類型では、サービスプロバイダ１２０が、データセンタ運営会社の機能を有している。すなわち、サービスプロバイダ１２０が、ビッグデータを管理するクラウドサーバ２０３を保有している。したがって、データセンタ運営会社は存在しない。

【0149】

本類型では、サービスプロバイダ１２０は、データセンタ（クラウドサーバ）２０３を運営及び管理している。また、サービスプロバイダ１２０は、オペレーティングシステム（ＯＳ）２０２及びアプリケーション２０１を管理する。サービスプロバイダ１２０は、サービスプロバイダ１２０が管理するＯＳ２０２及びアプリケーション２０１を用いてサービスを提供する（矢印２０４）。例えば、サービスプロバイダ１２０は、顔画像の分析および評価を行い、その分析および評価の結果をユーザに提供する。

【0150】

（サービスの類型２：ＩａａＳ利用型クラウドサービス）
図２２は、サービスの類型２（ＩａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。ここで、ＩａａＳとは、インフラストラクチャー・アズ・ア・サービスの略であり、コンピュータシステムを構築および稼動させるための基盤そのものを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。

【0151】

本類型では、データセンタ運営会社１１０が、データセンタ（クラウドサーバ）２０３を運営及び管理している。また、サービスプロバイダ１２０は、ＯＳ２０２及びアプリケーション２０１を管理する。データセンタ運営会社１１０は、少なくとも１つのグループ１００から顔画像データを取得する。サービスプロバイダ１２０は、サービスプロバイダ１２０が管理するＯＳ２０２及びアプリケーション２０１を用いてサービスを提供する（矢印２０４）。例えば、サービスプロバイダ１２０は、顔画像の分析および評価を行い、その分析および評価の結果をユーザに提供する。

【0152】

（サービスの類型３：ＰａａＳ利用型クラウドサービス）
図２３は、サービスの類型３（ＰａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。ここで、ＰａａＳとは、プラットフォーム・アズ・ア・サービスの略であり、ソフトウェアを構築および稼動させるための土台となるプラットフォームを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。

【0153】

本類型では、データセンタ運営会社１１０は、ＯＳ２０２を管理し、データセンタ（クラウドサーバ）２０３を運営及び管理している。また、サービスプロバイダ１２０は、アプリケーション２０１を管理する。データセンタ運営会社１１０は、少なくとも１つのグループ１００から顔画像データを取得する。サービスプロバイダ１２０は、データセンタ運営会社１１０が管理するＯＳ２０２及びサービスプロバイダ１２０が管理するアプリケーション２０１を用いてサービスを提供する（矢印２０４）。例えば、サービスプロバイダ１２０は、顔画像の分析および評価を行い、その分析および評価の結果をユーザに提供する。

【0154】

（サービスの類型４：ＳａａＳ利用型クラウドサービス）
図２４は、サービスの類型４（ＳａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。ここで、ＳａａＳとは、ソフトウェア・アズ・ア・サービスの略である。ＳａａＳ利用型クラウドサービスは、例えば、データセンタ（クラウドサーバ）を保有しているプラットフォーム提供者が提供するアプリケーションを、データセンタ（クラウドサーバ）を保有していない会社又は個人などの利用者がインターネットなどのネットワーク経由で使用できる機能を有するクラウドサービス提供モデルである。

【0155】

本類型では、データセンタ運営会社１１０は、アプリケーション２０１を管理し、ＯＳ２０２を管理し、データセンタ（クラウドサーバ）２０３を運営及び管理している。データセンタ運営会社１１０は、少なくとも１つのグループ１００から顔画像データを取得する。サービスプロバイダ１２０は、データセンタ運営会社１１０が管理するＯＳ２０２及びアプリケーション２０１を用いてサービスを提供する（矢印２０４）。例えば、サービスプロバイダ１２０は、取得した顔画像の分析および評価を行い、その分析および評価の結果をユーザに提供する。

【0156】

以上、いずれのクラウドサービスの類型においても、サービスプロバイダ１２０がサービスを提供する。また、例えば、サービスプロバイダ又はデータセンタ運営会社は、ＯＳ、アプリケーション又はビックデータのデータベース等を自ら開発してもよいし、また、第三者に外注させてもよい。

【産業上の利用可能性】

【0157】

本開示の技術は、情報処理装置の分野において特に有用である。

【符号の説明】

【0158】

１０ カメラ
１１ 測距装置
１２ 光源
１４ ディスプレイ
１６ 表示エリア
１８ 制御装置
３１ 顔画像
３２ マーカー画像
３３、３５ ガイド画像
３６ 基本顔ガイド画像
１０１ 情報処理装置
１０２ クラウドサーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】