特開 2017-118282 画像処理システム、画像処理方法、および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2017-118282(P2017-118282A)

(43)【公開日】2017年6月29日

(54)【発明の名称】画像処理システム、画像処理方法、および画像処理プログラム

(51)【国際特許分類】

   H04N 5/225 20060101AFI20170602BHJP

   G06T 1/00 20060101ALI20170602BHJP

   G03B 15/00 20060101ALI20170602BHJP

   G03B 17/18 20060101ALI20170602BHJP

   H04N 5/232 20060101ALI20170602BHJP

【ＦＩ】

   H04N5/225 F

   H04N5/225 A

   G06T1/00 340A

   G03B15/00 Q

   G03B17/18 Z

   H04N5/232 Z

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

【全頁数】20

(21)【出願番号】特願2015-250757(P2015-250757)

(22)【出願日】2015年12月23日

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 掲載年月日： 平成２７年１０月１５日 掲載アドレス：ｈｔｔｐｓ：／／ｙｏｕｔｕ．ｂｅ／ＪｓＪＣＹ−９６ｅ３ｗ 〔刊行物等〕 平成２７年１０月１５日にフランス パリのルーブル美術館にて、広告パンフレットを配布

(71)【出願人】

【識別番号】500521522

【氏名又は名称】株式会社オプティム

(74)【代理人】

【識別番号】100177220

【弁理士】

【氏名又は名称】小木 智彦

(72)【発明者】

【氏名】菅谷 俊二

【テーマコード（参考）】

2H102

5B057

5C122

【Ｆターム（参考）】

2H102AA71

2H102BB22

2H102CA03

5B057BA24

5B057BA26

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CH16

5B057CH18

5B057CH20

5B057DA06

5B057DA16

5B057DB02

5B057DB06

5B057DB09

5B057DC30

5B057DC36

5C122DA09

5C122EA42

5C122EA60

5C122EA61

5C122FH11

5C122FH14

5C122FH19

5C122FK12

5C122FK29

5C122FK34

5C122FK37

5C122FK41

5C122GC01

5C122GC19

5C122GC52

5C122GC76

5C122HA29

(57)【要約】

【課題】 ガイド表示手段により、安価で高性能に被写体の構成パーツを類推することが可能な、画像処理システムを提供する。
【解決手段】 ユーザ端末１００に、被写体を撮像する撮像モジュール１１１と、被写体を構成する構成パーツの撮影をガイドするための表示を行うガイド表示モジュール１３２と、前記構成パーツを類推する類推モジュール１４１と、を備える。また、ユーザ端末１００とアドバイザ端末２００との画面共有により、ユーザにリアルタイムで化粧アドバイザからのアドバイスを行う。
【選択図】図１

【特許請求の範囲】

【請求項1】

被写体を撮像する撮像手段と、
前記被写体を構成する構成パーツの撮影をガイドするための表示を行うガイド表示手段と、
撮像した前記被写体の画像から、前記構成パーツを類推する類推手段と、
を備えることを特徴とする画像処理システム。

【請求項2】

前記ガイド表示手段は、
前記被写体が人物の顔である場合に、その大きさ、向き、位置のいずれかを示すことを特徴とする請求項１に記載の画像処理システム。

【請求項3】

前記類推手段は、
前記被写体画像に対する画像認識により前記構成パーツの種類を類推し、類推した構成パーツに対してテキスト情報を付与することを特徴とする請求項１または２に記載の画像処理システム。

【請求項4】

請求項１から請求項３のいずれかに記載の画像処理システムにおいて、
前記類推手段により、前記構成パーツが１つ以上類推された場合に、被写体の撮像が成功したことを表示することを特徴とする画像処理システム。

【請求項5】

請求項１から請求項４のいずれかに記載の画像処理システムにおいて、
前記類推した構成パーツ毎の化粧参照画像を表示する化粧参照画像表示手段と、
を備えることを特徴とする画像処理システム。

【請求項6】

請求項５に記載の画像処理システムにおいて、
前記化粧参照画像から画像を選択し、撮像した前記被写体の画像に適用させる化粧参照画像適用手段と、
を備えることを特徴とする画像処理システム。

【請求項7】

請求項６に記載の画像処理システムにおいて、
前記選択した化粧参照画像の化粧方法を、前記被写体に対してアドバイスを行うアドバイス手段と、
を備えることを特徴とする画像処理システム。

【請求項8】

前記アドバイス手段は、前記被写体と化粧アドバイザとの画面共有によりリアルタイムに実施することを特徴とする請求項７に記載の画像処理システム。

【請求項9】

被写体を撮像する撮像ステップと、
前記被写体を構成する構成パーツの撮影をガイドするための表示を行うガイド表示ステップと、
撮像した前記被写体の画像から、前記構成パーツを類推する類推ステップと、
を備えることを特徴とする画像処理方法。

【請求項10】

ユーザ端末に、
被写体を撮像する撮像ステップ、
前記被写体を構成する構成パーツの撮影をガイドするための表示を行うガイド表示ステップ、
撮像した前記被写体の画像から、前記構成パーツを類推する類推ステップ、
を実行させるための画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被写体の顔を構成するパーツを類推する画像処理システム、画像処理方法、画像処理プログラムに関する。

【背景技術】

【0002】

従来、ユーザの化粧を支援する様々な技術が提案されている。例えば、特許文献１には、ユーザの撮像画像の表示内容を確認しながら、化粧を施したり、身だしなみを整えたりする場合の表示方法に関する技術が記載されている。また、特許文献２には、三次元計測手段を使用して取得した三次元情報を用いて、ユーザの化粧を支援する技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３−２２３００１号公報

【特許文献2】特開２０１５−１９７７１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の手法では、特定部位を認識する認識手段の性能により、撮影画像と比較対象画像をうまく重ね合わせが行えない恐れがある。

【0005】

また、特許文献２の手法では、三次元情報の使用により、特許文献１に比較して、顔の状態の認識がしやすくなると考えられるが、投光部により計測用パターンを投射する必要があるため、装置が高価になるという問題がある。

【0006】

さらに、特許文献１、特許文献２とも、ユーザが施した化粧は自分自身で画像を確認するのみであるが、普段とは異なったメイクがしたい場合や新しいメイクアップ手法を習得したい場合等には、細かな手順や手持ちの化粧品での対応方法を、専門家から指導して欲しいという要望があると考えられる。

【0007】

そこで、本発明では、上記の課題に鑑みて、被写体の顔を構成するパーツを類推する画像処理システム、画像処理方法、画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明では、以下のような解決手段を提供する。

【0009】

第１の特徴に係る発明は、
被写体を撮像する撮像手段と、
前記被写体を構成する構成パーツの撮影をガイドするための表示を行うガイド表示手段と、
撮像した前記被写体の画像から、前記構成パーツを類推する類推手段と、
を備えることを特徴とする画像処理システムを提供する。

【0010】

第１の特徴に係る発明によれば、画像処理システムにおいて、被写体を撮像する撮像手段と、前記被写体を構成する構成パーツの撮影をガイドするための表示を行うガイド表示手段と、撮像した前記被写体の画像から、前記構成パーツを類推する類推手段と、を備える。

【0011】

第１の特徴に係る発明は、画像処理システムのカテゴリであるが、画像処理方法、および画像処理プログラムであっても同様の作用、効果を奏する。

【0012】

第２の特徴に係る発明は、第１の特徴に係る発明である画像処理システムにおいて、
前記ガイド表示手段は、
前記被写体が人物の顔である場合に、その大きさ、向き、位置のいずれかを示すことを特徴とする画像処理システムを提供する。

【0013】

第２の特徴に係る発明によれば、第１の特徴に係る発明である画像処理システムは、前記ガイド表示手段は、前記被写体が人物の顔である場合に、その大きさ、向き、位置のいずれかを示す。

【0014】

第３の特徴に係る発明は、第１または第２の特徴に係る発明である画像処理システムにおいて、
前記類推手段は、
前記被写体画像に対する画像認識により前記構成パーツの種類を類推し、類推した構成パーツに対してテキスト情報を付与することを特徴とする画像処理システムを提供する。

【0015】

第３の特徴に係る発明によれば、第１または第２の特徴に係る発明である画像処理システムは、前記類推手段は、前記被写体画像に対する画像認識により前記構成パーツの種類を類推し、類推した構成パーツに対してテキスト情報を付与する。

【0016】

第４の特徴に係る発明は、第１から第３のいずれかの特徴に係る発明である画像処理システムにおいて、前記類推手段により、前記構成パーツが１つ以上類推された場合に、被写体の撮像が成功したことを表示することを特徴とする画像処理システムを提供する。

【0017】

第４の特徴に係る発明によれば、第１から第３のいずれかの特徴に係る発明である画像処理システムは、前記類推手段により、前記構成パーツが１つ以上類推された場合に、被写体の撮像が成功したことを表示する。

【0018】

第５の特徴に係る発明は、第１から第４のいずれかの特徴に係る発明である画像処理システムにおいて、
前記類推した構成パーツ毎の化粧参照画像を表示する化粧参照画像表示手段と、
を備えることを特徴とする画像処理システムを提供する。

【0019】

第５の特徴に係る発明によれば、第１から第４のいずれかの特徴に係る発明である画像処理システムは、前記類推した構成パーツ毎の化粧参照画像を表示する化粧参照画像表示手段と、を備える。

【0020】

第６の特徴に係る発明は、第５の特徴に係る発明である画像処理システムにおいて、
前記化粧参照画像から画像を選択し、撮像した前記被写体の画像に適用させる化粧参照画像適用手段と、
を備えることを特徴とする画像処理システムを提供する。

【0021】

第６の特徴に係る発明によれば、第５の特徴に係る発明である画像処理システムは、前記化粧参照画像から画像を選択し、撮像した前記被写体の画像に適用させる化粧参照画像適用手段と、を備える。

【0022】

第７の特徴に係る発明は、第６の特徴に係る発明である画像処理システムにおいて、
前記選択した化粧参照画像の化粧方法を、前記被写体に対してアドバイスを行うアドバイス手段と、
を備えることを特徴とする画像処理システムを提供する。

【0023】

第７の特徴に係る発明によれば、第６の特徴に係る発明である画像処理システムは、前記選択した化粧参照画像の化粧方法を、前記被写体に対してアドバイスを行うアドバイス手段と、を備える。

【0024】

第８の特徴に係る発明は、第７の特徴に係る発明である画像処理システムにおいて、
前記アドバイス手段は、前記被写体と化粧アドバイザとの画面共有によりリアルタイムに実施することを特徴とする画像処理システムを提供する。

【0025】

第８の特徴に係る発明によれば、第７の特徴に係る発明である画像処理システムは、前記アドバイス手段は、前記被写体と化粧アドバイザとの画面共有によりリアルタイムに実施する。

【0026】

第９の特徴に係る発明は、画像処理方法であって、
被写体を撮像する撮像ステップと、
前記被写体を構成する構成パーツの撮影をガイドするための表示を行うガイド表示ステップと、
撮像した前記被写体の画像から、前記構成パーツを類推する類推ステップと、
を備えることを特徴とする画像処理方法を提供する。

【0027】

第１０の特徴に係る発明は、画像処理プログラムであって、
ユーザ端末に、
被写体を撮像する撮像ステップ、
前記被写体を構成する構成パーツの撮影をガイドするための表示を行うガイド表示ステップ、
撮像した前記被写体の画像から、前記構成パーツを類推する類推ステップ、
を実行させることを特徴とする画像処理プログラムを提供する。

【発明の効果】

【0028】

本発明によれば、被写体の顔を構成するパーツを類推する画像処理システム、画像処理方法、画像処理プログラムを提供することが可能となる。

【図面の簡単な説明】

【0029】

【図1】図１は、本発明の好適な実施形態の概要図である。

【図2】図２は、ユーザ端末１００の機能ブロックと各機能の関係を示す図である。

【図3】図３は、ユーザ端末１００の構成パーツ類推処理のフローチャート図である。

【図4】図４は、ユーザ端末１００の構成パーツ類推結果表示処理のフローチャート図である。

【図5】図５は、アドバイス機能を備えたユーザ端末１００の機能ブロックと各機能の関係を示す図である。

【図6】図６は、ユーザ端末１００によるアドバイス処理のフローチャート図である。

【図7】図７は、化粧アドバイザによるアドバイス機能を備えたユーザ端末１００とアドバイザ端末２００の機能ブロックと各機能の関係を示す図である。

【図8】図８は、ユーザ端末１００とアドバイザ端末２００とサーバ３００の模式図と、サーバ３００の機能ブロックと各機能の関係を示す図である。

【図9】図９は、化粧アドバイザによるアドバイス処理を行う場合のフローチャート図である。

【図10】図１０は、画面共有によりリアルタイムにアドバイスを行う場合のフローチャートである。

【図11】図１１は、メール等でアドバイスを行う場合のフローチャートである。

【図12】図１２は、ユーザ端末１００のガイド表示機能の一例である。

【図13】図１３は、ユーザ端末１００でガイド表示機能によって撮像を行った場合の表示の一例である。

【図14】図１４は、ユーザ端末１００での化粧参照画像表示の一例である。

【図15】図１５は、ユーザ端末１００での撮像画像に選択した化粧参照画像の化粧を適用した場合の表示の一例である。

【図16】図１６は、ユーザ端末１００でのアドバイス表示の一例である。

【図17】図１７は、ユーザ端末１００に表示するアドバイザ情報の一例である。

【図18】図１８は、ユーザ端末１００とアドバイザ端末２００の間での、画面共有による表示の一例である。

【図19】図１９は、ユーザ端末１００とアドバイザ端末２００の間で、メール等でアドバイスを行う場合の概要図である。

【発明を実施するための形態】

【0030】

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

【0031】

［画像処理システムのシステム概要］
本発明の概要について図１に基づいて、説明する。ユーザ端末１００は、図２に示すように、カメラ部１１０、入力部１２０、出力部１３０、記憶部１４０、制御部１５０から構成される。カメラ部１１０には撮像モジュール１１１を備える。出力部１３０は制御部１５０と協働してガイド表示モジュール１３１を実現する。また、記憶部１４０は制御部１５０と協働して類推モジュール１４１を実現する。

【0032】

図３は、ユーザ端末１００の構成パーツ類推処理のフローチャート図である。図１では、このフローチャートに基づく処理を行っているため、併せて説明する。

【0033】

構成パーツ類推処理を行う場合、はじめに、ユーザ端末１００は、ガイド表示モジュール１３１により、ユーザが撮影を行う際の手助けとなる、ガイド表示を行う（ステップＳ１０１）。

【0034】

図１２は、ユーザ端末１００のガイド表示機能の一例である。メッセージ１２０２によって、画面上に表示されたガイド線にあわせて、被写体の顔画像の撮像を行うことを示している。図１２のガイド表示の例は、右目１２０３、左目１２０４、鼻１２０５、口１２０６、顔の輪郭１２０７、顔の中心を通る垂直の線１２０８、目の中心を通る水平の線１２０９である。これらのガイドは、ユーザによる顔の撮影を適切な大きさ、適切な向き、適切な位置で行うのに役立つとともに、後段の構成パーツ類推処理の際に、ガイド線の近傍を探索することで、短時間で高確率に構成パーツを検出するのに効果的である。ここでは、ガイド線は簡易的に直線と楕円で表示しているが、自由曲線や自在曲線により表示してもよい。また、目と眉を別々に表示してもよい。ガイド線の表示には、大量の顔画像データから抽出し平均した、各構成パーツの輪郭を使用してもよい。また、図１２は顔正面方向から撮像する場合のガイドであるが、顔横方向から撮像するためのガイドや斜め方向から撮像するためのガイドも用意してもよい。

【0035】

次に、撮像モジュール１１１により、被写体の画像を撮像する（ステップＳ１０２）。ここでは、例えば図１２のカメラマーク１２０１を選択することで撮像を開始するものとする。撮影は、スマートフォンやタブレットのインカメラを使用して自分で行ってもよいし、背面側のカメラ（アウトカメラ）を使用して他の人に撮影してもらったり、鏡に映った自分を撮影したりしてもよい。図１に示すように、撮像画像にガイドを重ねて表示することで、適切な大きさや向きや位置で撮影が行える。

【0036】

最後に、類推モジュール１４１により、撮像した被写体の画像から構成パーツ類推を行う（ステップＳ１０３）。撮像は、静止画で行っても動画で行ってもよく、動画で行う場合には、一定時間毎に、動画から静止画を切り出して、その静止画に対して構成パーツを類推すればよい。ここで、構成パーツとは、右目、左目、鼻、口、顔全体等の顔を構成するパーツのことである。構成パーツは、目と眉を別々にするなどシステム毎に適切な種類と数を定めてよいものとする。

【0037】

構成パーツ類推処理は、パターンマッチング等の一般的な画像認識処理で行ってよい。ガイド表示による撮像を行っているので、構成パーツ類推処理はガイド線の近傍を探索することで効率的に行うことができる。また、画像認識で類推された鼻や口等の構成パーツの名称を、テキスト情報として画像データと紐づけて記憶する。

【0038】

［各機能の説明］
図２は、ユーザ端末１００の機能ブロックと各機能の関係を示す図である。ユーザ端末１００は、カメラ部１１０、入力部１２０、出力部１３０、記憶部１４０、制御部１５０から構成される。カメラ部１１０には撮像モジュール１１１を備える。出力部１３０は制御部１５０と協働してガイド表示モジュール１３１を実現する。また、記憶部１４０は制御部１５０と協働して類推モジュール１４１を実現する。

【0039】

ユーザ端末１００は、ユーザがカメラによる撮像を行える一般的な情報端末であって良く、後述する機能を備える情報機器や電化製品である。携帯電話やスマートフォン、カメラ機能を備えた、または、ウェブカメラ等の外付けカメラを接続可能な、タブレットＰＣ、ノートＰＣ、ウェアラブルデバイス、またはディスプレイを備えたＰＣ等の一般的な情報家電やその他の電化製品であって良い。ユーザ端末１００として図示しているスマートフォンはその一例にすぎない。

【0040】

ユーザ端末１００は、カメラ部１１０にカメラを備え、撮像モジュール１１１を実現する。撮像モジュール１１１により、撮影した画像をデジタルデータに変換して、記憶部１４０に保存する。また、撮影画像は静止画像であっても動画像であってもよく、動画像の場合には、制御部１５０の働きにより、動画像の一部を切り出して、静止画像として記憶部１４０に保存することも可能であるとする。また、撮影して得られる画像は、ユーザが必要なだけの情報量を持った精密な画像であるものとし、画素数や画質を指定可能であるものとする。

【0041】

入力部１２０は、前述したガイド表示や撮像を指定するために必要な機能を備えるものとする。例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン、音声認識を行うためのマイク等を備えることが可能である。入力方法により、本発明は特に機能を限定されるものではない。

【0042】

出力部１３０は、制御部１５０と協働してガイド表示モジュール１３１を実現する。また、ガイド表示や撮像画像の表示を行うために必要な機能を備えるものとする。例として、液晶ディスプレイ、ＰＣのディスプレイ、プロジェクターへの投影等の形態が考えられる。出力方法により、本発明は特に機能を限定されるものではない。

【0043】

記憶部１４０として、ハードディスクや半導体メモリによる、データのストレージ部を備え、撮像した動画や静止画、類推処理に必要なデータ、類推した構成パーツの画像データとテキスト情報等を記憶する。記憶部１４０は制御部１５０と協働し、類推モジュール１４１を実現する。

【0044】

また、制御部１５０として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。

【0045】

［類推結果表示処理］
図４は、ユーザ端末１００の構成パーツ類推結果表示処理のフローチャート図である。上述した、構成パーツ類推処理に加えて、構成パーツ類推結果の表示を行う。図３のフローチャートとの差分を中心に説明する。

【0046】

図４のガイド表示（ステップＳ２０１）、撮像（ステップＳ２０２）、構成パーツ類推（ステップＳ２０３）は、それぞれ、図３のガイド表示（ステップＳ１０１）、撮像（ステップＳ１０２）、構成パーツ類推（ステップＳ１０３）と同様の処理である。

【0047】

ステップＳ２０３の構成パーツ類推により、一つ以上の構成パーツが検出された場合には、ガイド通りに撮影が行われたことと認識して、ユーザ端末１００の出力部１３０に、構成パーツの類推結果を表示する（ステップＳ２０４）。

【0048】

図１３は、ユーザ端末１００でガイド表示機能によって撮像を行った場合の表示の一例である。構成パーツ類推（ステップＳ２０３）により、右目、左目、鼻、口、顔全体のいずれかまたはすべての構成パーツが見つかった場合、ガイド通りに撮影が行われたことと認識して、メッセージ１３０１により、撮影が成功したことを表示する。また、その撮影画像に対して、後段の処理を行ってよいため、決定ボタン１３０２とキャンセルボタン１３０３を設けてもよい。決定ボタン１３０２選択時には、そのときの表示画像に対して、その後の化粧参照画像適用処理等を実施し、キャンセルボタン１３０３選択時には、再度撮像を行うものとする。

【0049】

［アドバイス処理］
図５は、アドバイス機能を備えたユーザ端末１００の機能ブロックと各機能の関係を示す図である。図２の機能に加えて、出力部１３０と制御部１５０が協働して、化粧参照画像表示モジュール１３２、化粧参照画像適用モジュール１３３、アドバイスモジュール１３４を実現する。

【0050】

図６は、端末１００によるアドバイス処理のフローチャート図である。図６のガイド表示（ステップＳ３０１）、撮像（ステップＳ３０２）、構成パーツ類推（ステップＳ３０３）、類推結果表示（ステップＳ３０４）は、それぞれ、図４のガイド表示（ステップＳ２０１）、撮像（ステップＳ２０２）、構成パーツ類推（ステップＳ２０３）、類推結果表示（ステップＳ２０４）と同様の処理である。

【0051】

アドバイス処理を行う場合には、ステップＳ３０４の類推結果表示後に、化粧参照画像表示モジュール１３２により、化粧参照画像表示を行う（ステップＳ３０５）。

【0052】

図１４は、ユーザ端末１００での化粧参照画像表示の一例である。類推した構成パーツ毎に、化粧参照画像の一覧を表示する。図１４では、メッセージ１４０１により、認識結果により類推された構成パーツ毎に参照可能なサンプル化粧画像を表示している。ここでは、顔全体、口、右目、左目、鼻、頬を認識できたものとして表示しており、それぞれの参照可能なサンプル化粧画像の件数を表示するとともに、代表的なサンプル化粧画像をサムネイル化して表示している。図１４では、化粧方法が詳しく知りたい構成パーツを選択する。

【0053】

図１４で左目を選択した場合、図１５の表示に進む。図１５は、ユーザ端末１００での撮像画像に選択した化粧参照画像の化粧を適用した場合の表示の一例である。図１５のエリア１５０１には、図１４で選択した左目の化粧参照画像の一覧を表示する。この時、化粧参照画像にも、構成パーツのテキスト情報を付加しておくことで、処理を高速に行うことができる。エリア１５０１には、５件のみ表示しているが、左右に動かすことで全化粧参照画像を表示可能であるものとする。図１５では、エリア１５０１に左目の化粧参照画像のみを表示したが、システムに応じて、ここに全構成パーツの化粧参照画像を表示してもよい。また、構成パーツ毎に化粧参照画像を表示するのではなく、化粧アドバイザ毎に化粧参照画像を表示してもよい。

【0054】

次に、化粧参照画像適用モジュール１３３により、エリア１５０１の化粧参照画像から１つを選択し（ステップＳ３０６）、選択した化粧参照画像の化粧を、撮像画像に適用する（ステップＳ３０７）。図１５では、左目の範囲１５０２に選択した化粧参照画像１５０３を適用した例を表示している。ここで、メッセージ１５０４により、撮像画像に選択した化粧を適用したことを示し、選択した化粧参照画像で良い場合には決定ボタン１５０５を選択することで次のアドバイス処理に進み、別の化粧参照画像を選択したい場合にはキャンセルボタン１５０６を選択することでやり直しが可能であるものとする。

【0055】

決定ボタン１５０５の選択によって、アドバイスモジュール１３４により、選択した化粧参照画像についてのアドバイスを出力する（ステップＳ３０８）。

【0056】

図１６は、ユーザ端末１００でのアドバイス表示の一例である。表示エリア１６０１に化粧参照画像を適用した撮像画像を表示し、メッセージ１６０２には化粧方法の簡単な説明を表示している。ここで、実行ボタン１６０３を選択すると、化粧方法を１段階ずつ詳しく画像とメッセージで表示するものとする。または、デモ映像再生ボタン１６０６の選択により、ビデオ映像で化粧方法を表示するものとする。キャンセルボタン１６０４の選択では、再度、ステップＳ３０５の化粧参照画像表示か、Ｓ３０１のガイド表示に戻ってもよい。また、エリア１６０５には、化粧参照画像で使用した化粧品情報を表示している。ここで、化粧品情報から、インターネットのネット販売などのウェブサイトにリンクを行ってもよい。

【0057】

［化粧アドバイザによるアドバイス処理］
図７は、化粧アドバイザによるアドバイス機能を備えたユーザ端末１００とアドバイザ端末２００の機能ブロックと各機能の関係を示す図である。

【0058】

ユーザ端末１００は、前述の図５の機能に加えて、通信部１６０を備える。ユーザ端末１００は、通信部１６０を介して、出力部１３０に表示している画像や音声を送信可能であるものとする。同じく、保存した静止画や動画、入力した文字列や音声メッセージ等を、メール、ＳＭＳ（ショートメッセージサービス）、チャット、ＳＮＳ（ソーシャルネットワーキングサービス）等で送信可能であるものとする。

【0059】

通信部１６０は、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）対応デバイス又は、第３世代移動通信システム等のＩＭＴ−２０００規格に準拠した無線デバイス等を備える。有線によるＬＡＮ接続であってもよい。

【0060】

化粧アドバイザによるアドバイス処理を行う場合、ユーザ端末１００には、更に、入力部１２０に、アドバイザ端末２００との音声による会話を行うための、マイク機能等を備えることが望ましい。

【0061】

化粧アドバイザの使用するアドバイザ端末２００は、カメラ部２１０、入力部２２０、出力部２３０、記憶部２４０、制御部２５０、通信部２６０から構成される。カメラ部２１０にはアドバイス画像撮像モジュール２１１を備える。出力部２３０は制御部２５０と協働してユーザ端末画像表示モジュール２３１を実現する。また、通信部２６０は制御部２５０と協働してアドバイス送信モジュール２６１を実現する。

【0062】

アドバイザ端末２００は、ユーザ端末１００と同じように、化粧アドバイザがカメラによる撮像を行える一般的な情報端末であって良く、後述する機能を備える情報機器や電化製品である。携帯電話やスマートフォン、カメラ機能を備えた、または、ウェブカメラ等の外付けカメラを接続可能な、タブレットＰＣ、ノートＰＣ、ウェアラブルデバイス、またはディスプレイを備えたＰＣ等の一般的な情報家電やその他の電化製品であって良い。アドバイザ端末２００として図示しているスマートフォンはその一例にすぎない。

【0063】

アドバイザ端末２００は、カメラ部２１０にカメラを備え、アドバイス画像撮像モジュール２１１を実現する。アドバイス画像撮像モジュール２１１により、撮影した画像をデジタルデータに変換して、記憶部２４０に保存する。また、撮影画像は静止画像であっても動画像であってもよく、動画像の場合には、制御部２５０の働きにより、動画像の一部を切り出して、静止画像として記憶部２４０に保存することも可能であるとする。また、撮影して得られる画像は、システムに必要なだけの情報量を持った精密な画像であるものとし、画素数や画質を指定可能であるものとする。

【0064】

入力部２２０は、ユーザに対するアドバイスを行うために必要な入力機能を備えるものとする。例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン等を備えることが可能である。また、ユーザ端末１００との音声による会話を行うための、マイク機能等を備えることが望ましい。入力方法により、本発明は特に機能を限定されるものではない。

【0065】

出力部２３０は、制御部２５０と協働してユーザ端末画像表示モジュール２３１を実現する。ユーザ端末画像表示モジュールは、ユーザ端末１００の出力部１３０に出力されている画像の一部または全部を、アドバイザ端末２００の出力部２３０に表示させるものである。出力部２３０の例として、液晶ディスプレイ、ＰＣのディスプレイ、プロジェクターへの投影等の形態が考えられる。出力方法により、本発明は特に機能を限定されるものではない。

【0066】

記憶部２４０として、ハードディスクや半導体メモリによる、データのストレージ部を備え、撮像した動画や静止画、ユーザ端末１００から受信した動画や静止画、音声等の必要な情報を記憶する。

【0067】

制御部２５０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。

【0068】

通信部２６０として、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ対応デバイス又は、第３世代移動通信システム等のＩＭＴ−２０００規格に準拠した無線デバイス等を備える。有線によるＬＡＮ接続であってもよい。通信部２６０は制御部２５０と協働してアドバイス送信モジュール２６１を実現する。アドバイス送信モジュール２６１により、出力部２３０に表示している画像や音声を送信可能であるものとする。同じく、保存した静止画や動画、入力した文字列や音声メッセージ等を、メール、ＳＭＳ、チャット、ＳＮＳ等で送信可能であるものとする。

【0069】

図８は、ユーザ端末１００とアドバイザ端末２００とサーバ３００の模式図と、サーバ３００の機能ブロックと各機能の関係を示す図である。ユーザ端末１００とアドバイザ端末２００とサーバ３００は、通信網５００を介して接続されているものとする。通信網５００は、公衆通信網でも専用通信網でも良い。また、ユーザ端末１００とアドバイザ端末２００は、必要に応じてピア・トゥ・ピアの直接接続も可能であってよい。

【0070】

サーバ３００は、後述の機能を備える一般的なサーバであってよく、通信部３１０、制御部３２０、記憶部３３０を備える。

【0071】

通信部３１０として、有線によるＬＡＮ接続、または、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ対応デバイスや第３世代移動通信システム等のＩＭＴ−２０００規格に準拠した無線デバイス等を備える。通信部３１０は制御部３２０、記憶部３３０と協働してアドバイザ状況確認モジュール３１１、アドバイザ情報送信モジュール、ユーザ要求送信モジュール３１３を実現する。

【0072】

制御部３２０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。また、制御部３２０には記憶部３３０と協働する類推モジュール３２１を備えてもよい。類推モジュール３２１は、ユーザ端末１００の類推モジュール１４１と同様に構成パーツ類推を行うもので、サーバ３００で処理を行うためには、ユーザ端末１００で撮像した被写体の画像を、通信部１６０を介してサーバ３００に送信する。サーバ３００は、通信部３１０により画像を受信し、受信した画像を記憶部３３０に保存し、その画像に対して。構成パーツ類推処理を行う。構成パーツ類推処理の結果は、通信部３１０を介してユーザ端末１００に送信し、ユーザ端末１００の出力部１３０に、類推結果表示を行う。サーバ３００で構成パーツ類推処理を行う利点としては、パターンマッチングのために必要なデータを記憶部３３０に大量に蓄積できること、構成パーツ類推処理を更新する際には、サーバ３００の類推モジュール３２１の更新のみで最新の処理を適用できること等があげられる。

【0073】

記憶部３３０として、ハードディスクや半導体メモリによる、データのストレージ部を備える。記憶部３３０には、ユーザ情報データベース３３１とアドバイザ情報データベース３３２を備え、システムに必要な情報を記憶する。

【0074】

図９は、化粧アドバイザによるアドバイス処理を行う場合のフローチャート図である。図９のガイド表示（ステップＳ４０１）、撮像（ステップＳ４０２）、構成パーツ類推（ステップＳ４０３）、類推結果表示（ステップＳ４０４）、化粧参照画像表示（ステップＳ４０５）、化粧参照画像選択（ステップＳ４０６）、撮像画像に化粧適用（ステップＳ４０７）は、それぞれ、図６のガイド表示（ステップＳ３０１）、撮像（ステップＳ３０２）、構成パーツ類推（ステップＳ３０３）、類推結果表示（ステップＳ３０４）、化粧参照画像表示（ステップＳ３０５）、化粧参照画像選択（ステップＳ３０６）、撮像画像に化粧適用（ステップＳ３０７）と同様の処理である。

【0075】

図９では、図６のアドバイス処理の代わりに、またはそのあとに、化粧アドバイザによるアドバイスを行う（ステップＳ４０８）。化粧アドバイザによるアドバイス処理は、画面共有によりリアルタイムにアドバイスを行う場合と、メール等でアドバイスを行う場合が考えられ、それぞれの処理内容は、後述する。

【0076】

［画面共有によるリアルタイムアドバイス処理］
図１０は、ステップＳ４０８の化粧アドバイザによるアドバイス処理で、画面共有によりリアルタイムにアドバイスを行う場合のフローチャートである。

【0077】

ユーザ端末１００は、アドバイザによるアドバイスを受けるために、まず、サーバ３００に対してアドバイザ情報の要求を行う（ステップＳ５０１）。これは、アドバイザが複数存在する場合に、それらのアドバイザの情報を取得するための処理である。

【0078】

サーバ３００は、これを受けて、アドバイザ状況確認モジュール３１１により、アドバイザ情報データベース３３２に登録されているアドバイザの状況確認を行う（ステップＳ５０２）。この状況確認は、アドバイザ情報データベース３３２に登録されているアドバイザ全員に対して行ってもよいし、アドバイザ情報データベースに、事前にアドバイザが応答可能な曜日や時間帯を登録しておき、その時に応答可能なアドバイザに対してのみ行ってもよい。

【0079】

サーバ３００からの確認を受けたアドバイザ端末２００は、化粧アドバイザが応答可能であるかどうかを確認する（ステップＳ５０３）。ここで応答可能かどうかの判断は、アドバイザ端末２００からの問いかけに対して化粧アドバイザが何らかの入力を行ってもよいし、チャット等を行うアプリケーションソフトウェアと同じように、オンライン、退席中、取り込み中、オフライン、等のようにログイン状況をあらかじめ設定しておき、そのログイン状況によって判断してもよい。

【0080】

アドバイザが応答可能であるかどうかの確認の結果、応答可能である、または、応答不可能であることが確実である場合には、サーバ３００にアドバイザ状況を送信する（ステップＳ５０４）。ただし、アドバイザ端末２００からの問いかけに対して化粧アドバイザからの入力がなく、状況が不明である場合には、応答があるまで一定の間隔で状況の確認をおこなう。

【0081】

サーバ３００は、アドバイザ端末２００よりアドバイザの状況を受信する（ステップＳ５０５）。

【0082】

そして、アドバイザ情報送信モジュール３１２により、受信したデータとアドバイザ情報データベース３３２のデータを基に、アドバイザ情報を作成し、ユーザ端末１００に送信する（ステップＳ５０６）。ここでのアドバイザ情報とは、ユーザ端末１００でアドバイザの選択を行うために必要な、アドバイザの名前、プロフィールや写真、オンラインまたはオフラインの状況、アドバイザが手掛けた化粧参照画像等である。また、ユーザ情報データベース３３１等を参照して、過去にユーザ端末１００のユーザが、各アドバイザにアドバイスを受けた回数等を加えてもよい。

【0083】

ユーザ端末１００は、受信したアドバイザ情報を基に、出力部１３０にアドバイザ情報を表示する（ステップＳ５０７）。

【0084】

図１７は、ユーザ端末１００に表示するアドバイザ情報の一例である。アドバイザの名前、プロフィールや顔写真、オンラインまたはオフラインの状況、アドバイザが手掛けた化粧参考画像等を表示している。アドバイザを表示する順番は、今回選択した化粧参照画像を手掛けたアドバイザを優先する、オンラインのアドバイザを優先する、人気ランキング順、過去にアドバイスを受けた回数順、など、システムやユーザが任意に設定できるものとする。図１７では、メッセージ１７０１により、どの化粧アドバイザにアドバイスを求めるかをユーザに問いかけ、ユーザは、アドバイザＡのプロフィール１７０２、アドバイザＢのプロフィール１７０３、アドバイザＣのプロフィール１７０４等を参考に、化粧アドバイザを選択し、サーバ３００にアドバイス要求を送信する（ステップＳ５０８）。ここでは、アドバイザＡを選択したものとする。

【0085】

サーバ３００は、このアドバイス要求を受け、ユーザ要求送信モジュール３１３により、アドバイザＡのアドバイザ端末２００にユーザ要求の送信を行う（ステップＳ５０９）。ここでのユーザ要求データの内容としては、画面共有によるリアルタイムアドバイス要求であることと、今回選択した化粧参照画像の情報を含めるものとする。また、ユーザ情報データベース３３１に、事前にユーザの名前や性別、年齢、お気に入りの化粧参照画像等を登録しておき、それらの情報をアドバイス要求とあわせて、送信してもよい。

【0086】

アドバイザ端末２００は、ユーザからのリアルタイムアドバイス要求に応答するかどうか確認を行う（ステップＳ５１０）。

【0087】

ユーザ要求に応答を行う場合には、アドバイザ端末２００とユーザ端末１００の通信を確立し、画面共有を実行する（ステップＳ５１１）。ここでの通信確立方法は、通常の公共通信網または専用通信網での通信を行うためのものであってもよいし、状況によっては、ピア・トゥ・ピアでの直接通信を行うためのものであってもよい。

【0088】

ユーザ要求に対して、一定時間応答がない場合、または、要求を拒否する場合には、ステップＳ５０４のアドバイザ状況送信にもどり、サーバ２００経由で、選択したアドバイザがリアルタイムアドバイス要求に応答できないことをユーザ端末１００に通知するとともに、更新したアドバイザ情報をユーザ端末１００に送信し、再度、アドバイザの選択を行うものとする。

【0089】

図１８は、ユーザ端末１００とアドバイザ端末２００の間での、画面共有による表示の一例である。アドバイザ端末２００を使用するアドバイザは１８０２、ユーザ端末１００を使用するユーザは１８０１として表示している。ユーザ端末画像表示モジュール２３１により、ユーザ端末１００の出力部１３０に出力されている画像の一部または全部を、アドバイザ端末２００の出力部２３０に表示する。アドバイザ端末２００のアドバイス画像撮像モジュール２１１により、アドバイス画像を撮像し、アドバイス送信モジュール２６１により、アドバイスの送信を行う（ステップＳ５１２）。ここでのアドバイスは、ユーザ１８０１の撮像画像や選択した化粧参照画像をもとにした、化粧品の選択方法や使用方法、具体的な化粧の手順等であり、データとしては静止画、動画、音声、参考ＵＲＬ等である。

【0090】

ユーザ端末１００は、アドバイスを受信し（ステップＳ５１３）、アドバイスモジュール１３４により、出力部１３０にアドバイスを出力する。

【0091】

画面共有の実行中は、撮像モジュール１１１による撮像画像と、アドバイス画像撮像モジュール２１１による撮像画像が、音声とともに、ユーザ端末１００とアドバイザ端末２００で出力されているものとし、これにより、ユーザ１８０１は受信したアドバイスにしたがって、化粧を進めることができる。また、画面共有の終了については、ユーザ端末１００、アドバイザ端末２００、サーバ３００のいずれかで行い、他の２者に通知すればよいものとする。画面共有方法に関しては、本特許を限定するものではなく、既存の技術を利用可能であるものとする。

【0092】

［メール等によるアドバイス処理］
図１１は、ステップＳ４０８の化粧アドバイザによるアドバイス処理で、メール等でアドバイスを行う場合のフローチャートである。

【0093】

図１１のステップＳ６０１からステップＳ６０７までの処理は、それぞれ、図１０のステップＳ５０１からステップＳ５０７までの処理と同様である。

【0094】

図１９は、ユーザ端末１００とアドバイザ端末２００の間で、メール等でアドバイスを行う場合の概要図である。ここでは、ユーザ端末１００を使用するユーザは１９０１、アドバイザ端末２００を使用するアドバイザは１９０２として表示している。

【0095】

ユーザがアドバイザ情報に基づいて、オフラインのアドバイザを選択した場合、または、画面共有によるリアルタイムアドバイスではなく、メール等によるアドバイスを選択した場合、アドバイス要求メール１９０３を送信する（ステップＳ６０８）。アドバイス要求メール１９０３には、保存した静止画や動画、入力した文字列や音声メッセージ等を添付してよい。ここでは、画面共有ではないアドバイスの一例としてメールを取り上げたが、必ずメールである必要はなく、ＳＭＳ、チャット、ＳＮＳ等の他の通信サービスにも同様に適用可能であるものとする。

【0096】

アドバイザ端末２００は、ユーザからのアドバイス要求メール１９０３を受信し（ステップＳ６０９）、その内容を出力部２３０に出力する。

【0097】

アドバイザ端末２００は、アドバイス画像撮像モジュール２１１により、要求メールの内容に応じたアドバイス画像を撮像する、または入力部２２０により、アドバイスのメッセージ等を入力する。アドバイスとなる静止画や動画、入力した文字列や音声メッセージ等を添付して、アドバイスメール１９０４を送信する（ステップＳ６１０）。

【0098】

ユーザ端末１００は、アドバイスメール１９０４を受信し（ステップＳ６１１）、アドバイスモジュール１３４により、出力部１３０にアドバイスメール１９０４の内容を出力する。

【0099】

ユーザ端末１００とアドバイザ端末２００の間での、アドバイス要求メールとアドバイスメールのやり取りは、必要に応じて複数回行えるものとする。

【0100】

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）、コンパクトメモリ等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

【0101】

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

【符号の説明】

【0102】

１００ ユーザ端末、２００ アドバイザ端末、３００ サーバ、５００ 通信網

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】