特開2017-118282(P2017-118282A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社オプティムの特許一覧
特開2017-118282画像処理システム、画像処理方法、および画像処理プログラム
<>
  • 特開2017118282-画像処理システム、画像処理方法、および画像処理プログラム 図000003
  • 特開2017118282-画像処理システム、画像処理方法、および画像処理プログラム 図000004
  • 特開2017118282-画像処理システム、画像処理方法、および画像処理プログラム 図000005
  • 特開2017118282-画像処理システム、画像処理方法、および画像処理プログラム 図000006
  • 特開2017118282-画像処理システム、画像処理方法、および画像処理プログラム 図000007
  • 特開2017118282-画像処理システム、画像処理方法、および画像処理プログラム 図000008
  • 特開2017118282-画像処理システム、画像処理方法、および画像処理プログラム 図000009
  • 特開2017118282-画像処理システム、画像処理方法、および画像処理プログラム 図000010
  • 特開2017118282-画像処理システム、画像処理方法、および画像処理プログラム 図000011
  • 特開2017118282-画像処理システム、画像処理方法、および画像処理プログラム 図000012
  • 特開2017118282-画像処理システム、画像処理方法、および画像処理プログラム 図000013
  • 特開2017118282-画像処理システム、画像処理方法、および画像処理プログラム 図000014
  • 特開2017118282-画像処理システム、画像処理方法、および画像処理プログラム 図000015
  • 特開2017118282-画像処理システム、画像処理方法、および画像処理プログラム 図000016
  • 特開2017118282-画像処理システム、画像処理方法、および画像処理プログラム 図000017
  • 特開2017118282-画像処理システム、画像処理方法、および画像処理プログラム 図000018
  • 特開2017118282-画像処理システム、画像処理方法、および画像処理プログラム 図000019
  • 特開2017118282-画像処理システム、画像処理方法、および画像処理プログラム 図000020
  • 特開2017118282-画像処理システム、画像処理方法、および画像処理プログラム 図000021
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2017-118282(P2017-118282A)
(43)【公開日】2017年6月29日
(54)【発明の名称】画像処理システム、画像処理方法、および画像処理プログラム
(51)【国際特許分類】
   H04N 5/225 20060101AFI20170602BHJP
   G06T 1/00 20060101ALI20170602BHJP
   G03B 15/00 20060101ALI20170602BHJP
   G03B 17/18 20060101ALI20170602BHJP
   H04N 5/232 20060101ALI20170602BHJP
【FI】
   H04N5/225 F
   H04N5/225 A
   G06T1/00 340A
   G03B15/00 Q
   G03B17/18 Z
   H04N5/232 Z
【審査請求】有
【請求項の数】10
【出願形態】OL
【全頁数】20
(21)【出願番号】特願2015-250757(P2015-250757)
(22)【出願日】2015年12月23日
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り 掲載年月日: 平成27年10月15日 掲載アドレス:https://youtu.be/JsJCY−96e3w 〔刊行物等〕 平成27年10月15日にフランス パリのルーブル美術館にて、広告パンフレットを配布
(71)【出願人】
【識別番号】500521522
【氏名又は名称】株式会社オプティム
(74)【代理人】
【識別番号】100177220
【弁理士】
【氏名又は名称】小木 智彦
(72)【発明者】
【氏名】菅谷 俊二
【テーマコード(参考)】
2H102
5B057
5C122
【Fターム(参考)】
2H102AA71
2H102BB22
2H102CA03
5B057BA24
5B057BA26
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CH16
5B057CH18
5B057CH20
5B057DA06
5B057DA16
5B057DB02
5B057DB06
5B057DB09
5B057DC30
5B057DC36
5C122DA09
5C122EA42
5C122EA60
5C122EA61
5C122FH11
5C122FH14
5C122FH19
5C122FK12
5C122FK29
5C122FK34
5C122FK37
5C122FK41
5C122GC01
5C122GC19
5C122GC52
5C122GC76
5C122HA29
(57)【要約】
【課題】 ガイド表示手段により、安価で高性能に被写体の構成パーツを類推することが可能な、画像処理システムを提供する。
【解決手段】 ユーザ端末100に、被写体を撮像する撮像モジュール111と、被写体を構成する構成パーツの撮影をガイドするための表示を行うガイド表示モジュール132と、前記構成パーツを類推する類推モジュール141と、を備える。また、ユーザ端末100とアドバイザ端末200との画面共有により、ユーザにリアルタイムで化粧アドバイザからのアドバイスを行う。
【選択図】図1
【特許請求の範囲】
【請求項1】
被写体を撮像する撮像手段と、
前記被写体を構成する構成パーツの撮影をガイドするための表示を行うガイド表示手段と、
撮像した前記被写体の画像から、前記構成パーツを類推する類推手段と、
を備えることを特徴とする画像処理システム。
【請求項2】
前記ガイド表示手段は、
前記被写体が人物の顔である場合に、その大きさ、向き、位置のいずれかを示すことを特徴とする請求項1に記載の画像処理システム。
【請求項3】
前記類推手段は、
前記被写体画像に対する画像認識により前記構成パーツの種類を類推し、類推した構成パーツに対してテキスト情報を付与することを特徴とする請求項1または2に記載の画像処理システム。
【請求項4】
請求項1から請求項3のいずれかに記載の画像処理システムにおいて、
前記類推手段により、前記構成パーツが1つ以上類推された場合に、被写体の撮像が成功したことを表示することを特徴とする画像処理システム。
【請求項5】
請求項1から請求項4のいずれかに記載の画像処理システムにおいて、
前記類推した構成パーツ毎の化粧参照画像を表示する化粧参照画像表示手段と、
を備えることを特徴とする画像処理システム。
【請求項6】
請求項5に記載の画像処理システムにおいて、
前記化粧参照画像から画像を選択し、撮像した前記被写体の画像に適用させる化粧参照画像適用手段と、
を備えることを特徴とする画像処理システム。
【請求項7】
請求項6に記載の画像処理システムにおいて、
前記選択した化粧参照画像の化粧方法を、前記被写体に対してアドバイスを行うアドバイス手段と、
を備えることを特徴とする画像処理システム。
【請求項8】
前記アドバイス手段は、前記被写体と化粧アドバイザとの画面共有によりリアルタイムに実施することを特徴とする請求項7に記載の画像処理システム。
【請求項9】
被写体を撮像する撮像ステップと、
前記被写体を構成する構成パーツの撮影をガイドするための表示を行うガイド表示ステップと、
撮像した前記被写体の画像から、前記構成パーツを類推する類推ステップと、
を備えることを特徴とする画像処理方法。
【請求項10】
ユーザ端末に、
被写体を撮像する撮像ステップ、
前記被写体を構成する構成パーツの撮影をガイドするための表示を行うガイド表示ステップ、
撮像した前記被写体の画像から、前記構成パーツを類推する類推ステップ、
を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体の顔を構成するパーツを類推する画像処理システム、画像処理方法、画像処理プログラムに関する。
【背景技術】
【0002】
従来、ユーザの化粧を支援する様々な技術が提案されている。例えば、特許文献1には、ユーザの撮像画像の表示内容を確認しながら、化粧を施したり、身だしなみを整えたりする場合の表示方法に関する技術が記載されている。また、特許文献2には、三次元計測手段を使用して取得した三次元情報を用いて、ユーザの化粧を支援する技術が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2013−223001号公報
【特許文献2】特開2015−197710号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1の手法では、特定部位を認識する認識手段の性能により、撮影画像と比較対象画像をうまく重ね合わせが行えない恐れがある。
【0005】
また、特許文献2の手法では、三次元情報の使用により、特許文献1に比較して、顔の状態の認識がしやすくなると考えられるが、投光部により計測用パターンを投射する必要があるため、装置が高価になるという問題がある。
【0006】
さらに、特許文献1、特許文献2とも、ユーザが施した化粧は自分自身で画像を確認するのみであるが、普段とは異なったメイクがしたい場合や新しいメイクアップ手法を習得したい場合等には、細かな手順や手持ちの化粧品での対応方法を、専門家から指導して欲しいという要望があると考えられる。
【0007】
そこで、本発明では、上記の課題に鑑みて、被写体の顔を構成するパーツを類推する画像処理システム、画像処理方法、画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明では、以下のような解決手段を提供する。
【0009】
第1の特徴に係る発明は、
被写体を撮像する撮像手段と、
前記被写体を構成する構成パーツの撮影をガイドするための表示を行うガイド表示手段と、
撮像した前記被写体の画像から、前記構成パーツを類推する類推手段と、
を備えることを特徴とする画像処理システムを提供する。
【0010】
第1の特徴に係る発明によれば、画像処理システムにおいて、被写体を撮像する撮像手段と、前記被写体を構成する構成パーツの撮影をガイドするための表示を行うガイド表示手段と、撮像した前記被写体の画像から、前記構成パーツを類推する類推手段と、を備える。
【0011】
第1の特徴に係る発明は、画像処理システムのカテゴリであるが、画像処理方法、および画像処理プログラムであっても同様の作用、効果を奏する。
【0012】
第2の特徴に係る発明は、第1の特徴に係る発明である画像処理システムにおいて、
前記ガイド表示手段は、
前記被写体が人物の顔である場合に、その大きさ、向き、位置のいずれかを示すことを特徴とする画像処理システムを提供する。
【0013】
第2の特徴に係る発明によれば、第1の特徴に係る発明である画像処理システムは、前記ガイド表示手段は、前記被写体が人物の顔である場合に、その大きさ、向き、位置のいずれかを示す。
【0014】
第3の特徴に係る発明は、第1または第2の特徴に係る発明である画像処理システムにおいて、
前記類推手段は、
前記被写体画像に対する画像認識により前記構成パーツの種類を類推し、類推した構成パーツに対してテキスト情報を付与することを特徴とする画像処理システムを提供する。
【0015】
第3の特徴に係る発明によれば、第1または第2の特徴に係る発明である画像処理システムは、前記類推手段は、前記被写体画像に対する画像認識により前記構成パーツの種類を類推し、類推した構成パーツに対してテキスト情報を付与する。
【0016】
第4の特徴に係る発明は、第1から第3のいずれかの特徴に係る発明である画像処理システムにおいて、前記類推手段により、前記構成パーツが1つ以上類推された場合に、被写体の撮像が成功したことを表示することを特徴とする画像処理システムを提供する。
【0017】
第4の特徴に係る発明によれば、第1から第3のいずれかの特徴に係る発明である画像処理システムは、前記類推手段により、前記構成パーツが1つ以上類推された場合に、被写体の撮像が成功したことを表示する。
【0018】
第5の特徴に係る発明は、第1から第4のいずれかの特徴に係る発明である画像処理システムにおいて、
前記類推した構成パーツ毎の化粧参照画像を表示する化粧参照画像表示手段と、
を備えることを特徴とする画像処理システムを提供する。
【0019】
第5の特徴に係る発明によれば、第1から第4のいずれかの特徴に係る発明である画像処理システムは、前記類推した構成パーツ毎の化粧参照画像を表示する化粧参照画像表示手段と、を備える。
【0020】
第6の特徴に係る発明は、第5の特徴に係る発明である画像処理システムにおいて、
前記化粧参照画像から画像を選択し、撮像した前記被写体の画像に適用させる化粧参照画像適用手段と、
を備えることを特徴とする画像処理システムを提供する。
【0021】
第6の特徴に係る発明によれば、第5の特徴に係る発明である画像処理システムは、前記化粧参照画像から画像を選択し、撮像した前記被写体の画像に適用させる化粧参照画像適用手段と、を備える。
【0022】
第7の特徴に係る発明は、第6の特徴に係る発明である画像処理システムにおいて、
前記選択した化粧参照画像の化粧方法を、前記被写体に対してアドバイスを行うアドバイス手段と、
を備えることを特徴とする画像処理システムを提供する。
【0023】
第7の特徴に係る発明によれば、第6の特徴に係る発明である画像処理システムは、前記選択した化粧参照画像の化粧方法を、前記被写体に対してアドバイスを行うアドバイス手段と、を備える。
【0024】
第8の特徴に係る発明は、第7の特徴に係る発明である画像処理システムにおいて、
前記アドバイス手段は、前記被写体と化粧アドバイザとの画面共有によりリアルタイムに実施することを特徴とする画像処理システムを提供する。
【0025】
第8の特徴に係る発明によれば、第7の特徴に係る発明である画像処理システムは、前記アドバイス手段は、前記被写体と化粧アドバイザとの画面共有によりリアルタイムに実施する。
【0026】
第9の特徴に係る発明は、画像処理方法であって、
被写体を撮像する撮像ステップと、
前記被写体を構成する構成パーツの撮影をガイドするための表示を行うガイド表示ステップと、
撮像した前記被写体の画像から、前記構成パーツを類推する類推ステップと、
を備えることを特徴とする画像処理方法を提供する。
【0027】
第10の特徴に係る発明は、画像処理プログラムであって、
ユーザ端末に、
被写体を撮像する撮像ステップ、
前記被写体を構成する構成パーツの撮影をガイドするための表示を行うガイド表示ステップ、
撮像した前記被写体の画像から、前記構成パーツを類推する類推ステップ、
を実行させることを特徴とする画像処理プログラムを提供する。
【発明の効果】
【0028】
本発明によれば、被写体の顔を構成するパーツを類推する画像処理システム、画像処理方法、画像処理プログラムを提供することが可能となる。
【図面の簡単な説明】
【0029】
図1図1は、本発明の好適な実施形態の概要図である。
図2図2は、ユーザ端末100の機能ブロックと各機能の関係を示す図である。
図3図3は、ユーザ端末100の構成パーツ類推処理のフローチャート図である。
図4図4は、ユーザ端末100の構成パーツ類推結果表示処理のフローチャート図である。
図5図5は、アドバイス機能を備えたユーザ端末100の機能ブロックと各機能の関係を示す図である。
図6図6は、ユーザ端末100によるアドバイス処理のフローチャート図である。
図7図7は、化粧アドバイザによるアドバイス機能を備えたユーザ端末100とアドバイザ端末200の機能ブロックと各機能の関係を示す図である。
図8図8は、ユーザ端末100とアドバイザ端末200とサーバ300の模式図と、サーバ300の機能ブロックと各機能の関係を示す図である。
図9図9は、化粧アドバイザによるアドバイス処理を行う場合のフローチャート図である。
図10図10は、画面共有によりリアルタイムにアドバイスを行う場合のフローチャートである。
図11図11は、メール等でアドバイスを行う場合のフローチャートである。
図12図12は、ユーザ端末100のガイド表示機能の一例である。
図13図13は、ユーザ端末100でガイド表示機能によって撮像を行った場合の表示の一例である。
図14図14は、ユーザ端末100での化粧参照画像表示の一例である。
図15図15は、ユーザ端末100での撮像画像に選択した化粧参照画像の化粧を適用した場合の表示の一例である。
図16図16は、ユーザ端末100でのアドバイス表示の一例である。
図17図17は、ユーザ端末100に表示するアドバイザ情報の一例である。
図18図18は、ユーザ端末100とアドバイザ端末200の間での、画面共有による表示の一例である。
図19図19は、ユーザ端末100とアドバイザ端末200の間で、メール等でアドバイスを行う場合の概要図である。
【発明を実施するための形態】
【0030】
以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
【0031】
[画像処理システムのシステム概要]
本発明の概要について図1に基づいて、説明する。ユーザ端末100は、図2に示すように、カメラ部110、入力部120、出力部130、記憶部140、制御部150から構成される。カメラ部110には撮像モジュール111を備える。出力部130は制御部150と協働してガイド表示モジュール131を実現する。また、記憶部140は制御部150と協働して類推モジュール141を実現する。
【0032】
図3は、ユーザ端末100の構成パーツ類推処理のフローチャート図である。図1では、このフローチャートに基づく処理を行っているため、併せて説明する。
【0033】
構成パーツ類推処理を行う場合、はじめに、ユーザ端末100は、ガイド表示モジュール131により、ユーザが撮影を行う際の手助けとなる、ガイド表示を行う(ステップS101)。
【0034】
図12は、ユーザ端末100のガイド表示機能の一例である。メッセージ1202によって、画面上に表示されたガイド線にあわせて、被写体の顔画像の撮像を行うことを示している。図12のガイド表示の例は、右目1203、左目1204、鼻1205、口1206、顔の輪郭1207、顔の中心を通る垂直の線1208、目の中心を通る水平の線1209である。これらのガイドは、ユーザによる顔の撮影を適切な大きさ、適切な向き、適切な位置で行うのに役立つとともに、後段の構成パーツ類推処理の際に、ガイド線の近傍を探索することで、短時間で高確率に構成パーツを検出するのに効果的である。ここでは、ガイド線は簡易的に直線と楕円で表示しているが、自由曲線や自在曲線により表示してもよい。また、目と眉を別々に表示してもよい。ガイド線の表示には、大量の顔画像データから抽出し平均した、各構成パーツの輪郭を使用してもよい。また、図12は顔正面方向から撮像する場合のガイドであるが、顔横方向から撮像するためのガイドや斜め方向から撮像するためのガイドも用意してもよい。
【0035】
次に、撮像モジュール111により、被写体の画像を撮像する(ステップS102)。ここでは、例えば図12のカメラマーク1201を選択することで撮像を開始するものとする。撮影は、スマートフォンやタブレットのインカメラを使用して自分で行ってもよいし、背面側のカメラ(アウトカメラ)を使用して他の人に撮影してもらったり、鏡に映った自分を撮影したりしてもよい。図1に示すように、撮像画像にガイドを重ねて表示することで、適切な大きさや向きや位置で撮影が行える。
【0036】
最後に、類推モジュール141により、撮像した被写体の画像から構成パーツ類推を行う(ステップS103)。撮像は、静止画で行っても動画で行ってもよく、動画で行う場合には、一定時間毎に、動画から静止画を切り出して、その静止画に対して構成パーツを類推すればよい。ここで、構成パーツとは、右目、左目、鼻、口、顔全体等の顔を構成するパーツのことである。構成パーツは、目と眉を別々にするなどシステム毎に適切な種類と数を定めてよいものとする。
【0037】
構成パーツ類推処理は、パターンマッチング等の一般的な画像認識処理で行ってよい。ガイド表示による撮像を行っているので、構成パーツ類推処理はガイド線の近傍を探索することで効率的に行うことができる。また、画像認識で類推された鼻や口等の構成パーツの名称を、テキスト情報として画像データと紐づけて記憶する。
【0038】
[各機能の説明]
図2は、ユーザ端末100の機能ブロックと各機能の関係を示す図である。ユーザ端末100は、カメラ部110、入力部120、出力部130、記憶部140、制御部150から構成される。カメラ部110には撮像モジュール111を備える。出力部130は制御部150と協働してガイド表示モジュール131を実現する。また、記憶部140は制御部150と協働して類推モジュール141を実現する。
【0039】
ユーザ端末100は、ユーザがカメラによる撮像を行える一般的な情報端末であって良く、後述する機能を備える情報機器や電化製品である。携帯電話やスマートフォン、カメラ機能を備えた、または、ウェブカメラ等の外付けカメラを接続可能な、タブレットPC、ノートPC、ウェアラブルデバイス、またはディスプレイを備えたPC等の一般的な情報家電やその他の電化製品であって良い。ユーザ端末100として図示しているスマートフォンはその一例にすぎない。
【0040】
ユーザ端末100は、カメラ部110にカメラを備え、撮像モジュール111を実現する。撮像モジュール111により、撮影した画像をデジタルデータに変換して、記憶部140に保存する。また、撮影画像は静止画像であっても動画像であってもよく、動画像の場合には、制御部150の働きにより、動画像の一部を切り出して、静止画像として記憶部140に保存することも可能であるとする。また、撮影して得られる画像は、ユーザが必要なだけの情報量を持った精密な画像であるものとし、画素数や画質を指定可能であるものとする。
【0041】
入力部120は、前述したガイド表示や撮像を指定するために必要な機能を備えるものとする。例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン、音声認識を行うためのマイク等を備えることが可能である。入力方法により、本発明は特に機能を限定されるものではない。
【0042】
出力部130は、制御部150と協働してガイド表示モジュール131を実現する。また、ガイド表示や撮像画像の表示を行うために必要な機能を備えるものとする。例として、液晶ディスプレイ、PCのディスプレイ、プロジェクターへの投影等の形態が考えられる。出力方法により、本発明は特に機能を限定されるものではない。
【0043】
記憶部140として、ハードディスクや半導体メモリによる、データのストレージ部を備え、撮像した動画や静止画、類推処理に必要なデータ、類推した構成パーツの画像データとテキスト情報等を記憶する。記憶部140は制御部150と協働し、類推モジュール141を実現する。
【0044】
また、制御部150として、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備える。
【0045】
[類推結果表示処理]
図4は、ユーザ端末100の構成パーツ類推結果表示処理のフローチャート図である。上述した、構成パーツ類推処理に加えて、構成パーツ類推結果の表示を行う。図3のフローチャートとの差分を中心に説明する。
【0046】
図4のガイド表示(ステップS201)、撮像(ステップS202)、構成パーツ類推(ステップS203)は、それぞれ、図3のガイド表示(ステップS101)、撮像(ステップS102)、構成パーツ類推(ステップS103)と同様の処理である。
【0047】
ステップS203の構成パーツ類推により、一つ以上の構成パーツが検出された場合には、ガイド通りに撮影が行われたことと認識して、ユーザ端末100の出力部130に、構成パーツの類推結果を表示する(ステップS204)。
【0048】
図13は、ユーザ端末100でガイド表示機能によって撮像を行った場合の表示の一例である。構成パーツ類推(ステップS203)により、右目、左目、鼻、口、顔全体のいずれかまたはすべての構成パーツが見つかった場合、ガイド通りに撮影が行われたことと認識して、メッセージ1301により、撮影が成功したことを表示する。また、その撮影画像に対して、後段の処理を行ってよいため、決定ボタン1302とキャンセルボタン1303を設けてもよい。決定ボタン1302選択時には、そのときの表示画像に対して、その後の化粧参照画像適用処理等を実施し、キャンセルボタン1303選択時には、再度撮像を行うものとする。
【0049】
[アドバイス処理]
図5は、アドバイス機能を備えたユーザ端末100の機能ブロックと各機能の関係を示す図である。図2の機能に加えて、出力部130と制御部150が協働して、化粧参照画像表示モジュール132、化粧参照画像適用モジュール133、アドバイスモジュール134を実現する。
【0050】
図6は、端末100によるアドバイス処理のフローチャート図である。図6のガイド表示(ステップS301)、撮像(ステップS302)、構成パーツ類推(ステップS303)、類推結果表示(ステップS304)は、それぞれ、図4のガイド表示(ステップS201)、撮像(ステップS202)、構成パーツ類推(ステップS203)、類推結果表示(ステップS204)と同様の処理である。
【0051】
アドバイス処理を行う場合には、ステップS304の類推結果表示後に、化粧参照画像表示モジュール132により、化粧参照画像表示を行う(ステップS305)。
【0052】
図14は、ユーザ端末100での化粧参照画像表示の一例である。類推した構成パーツ毎に、化粧参照画像の一覧を表示する。図14では、メッセージ1401により、認識結果により類推された構成パーツ毎に参照可能なサンプル化粧画像を表示している。ここでは、顔全体、口、右目、左目、鼻、頬を認識できたものとして表示しており、それぞれの参照可能なサンプル化粧画像の件数を表示するとともに、代表的なサンプル化粧画像をサムネイル化して表示している。図14では、化粧方法が詳しく知りたい構成パーツを選択する。
【0053】
図14で左目を選択した場合、図15の表示に進む。図15は、ユーザ端末100での撮像画像に選択した化粧参照画像の化粧を適用した場合の表示の一例である。図15のエリア1501には、図14で選択した左目の化粧参照画像の一覧を表示する。この時、化粧参照画像にも、構成パーツのテキスト情報を付加しておくことで、処理を高速に行うことができる。エリア1501には、5件のみ表示しているが、左右に動かすことで全化粧参照画像を表示可能であるものとする。図15では、エリア1501に左目の化粧参照画像のみを表示したが、システムに応じて、ここに全構成パーツの化粧参照画像を表示してもよい。また、構成パーツ毎に化粧参照画像を表示するのではなく、化粧アドバイザ毎に化粧参照画像を表示してもよい。
【0054】
次に、化粧参照画像適用モジュール133により、エリア1501の化粧参照画像から1つを選択し(ステップS306)、選択した化粧参照画像の化粧を、撮像画像に適用する(ステップS307)。図15では、左目の範囲1502に選択した化粧参照画像1503を適用した例を表示している。ここで、メッセージ1504により、撮像画像に選択した化粧を適用したことを示し、選択した化粧参照画像で良い場合には決定ボタン1505を選択することで次のアドバイス処理に進み、別の化粧参照画像を選択したい場合にはキャンセルボタン1506を選択することでやり直しが可能であるものとする。
【0055】
決定ボタン1505の選択によって、アドバイスモジュール134により、選択した化粧参照画像についてのアドバイスを出力する(ステップS308)。
【0056】
図16は、ユーザ端末100でのアドバイス表示の一例である。表示エリア1601に化粧参照画像を適用した撮像画像を表示し、メッセージ1602には化粧方法の簡単な説明を表示している。ここで、実行ボタン1603を選択すると、化粧方法を1段階ずつ詳しく画像とメッセージで表示するものとする。または、デモ映像再生ボタン1606の選択により、ビデオ映像で化粧方法を表示するものとする。キャンセルボタン1604の選択では、再度、ステップS305の化粧参照画像表示か、S301のガイド表示に戻ってもよい。また、エリア1605には、化粧参照画像で使用した化粧品情報を表示している。ここで、化粧品情報から、インターネットのネット販売などのウェブサイトにリンクを行ってもよい。
【0057】
[化粧アドバイザによるアドバイス処理]
図7は、化粧アドバイザによるアドバイス機能を備えたユーザ端末100とアドバイザ端末200の機能ブロックと各機能の関係を示す図である。
【0058】
ユーザ端末100は、前述の図5の機能に加えて、通信部160を備える。ユーザ端末100は、通信部160を介して、出力部130に表示している画像や音声を送信可能であるものとする。同じく、保存した静止画や動画、入力した文字列や音声メッセージ等を、メール、SMS(ショートメッセージサービス)、チャット、SNS(ソーシャルネットワーキングサービス)等で送信可能であるものとする。
【0059】
通信部160は、例えば、IEEE802.11に準拠したWiFi(Wireless Fidelity)対応デバイス又は、第3世代移動通信システム等のIMT−2000規格に準拠した無線デバイス等を備える。有線によるLAN接続であってもよい。
【0060】
化粧アドバイザによるアドバイス処理を行う場合、ユーザ端末100には、更に、入力部120に、アドバイザ端末200との音声による会話を行うための、マイク機能等を備えることが望ましい。
【0061】
化粧アドバイザの使用するアドバイザ端末200は、カメラ部210、入力部220、出力部230、記憶部240、制御部250、通信部260から構成される。カメラ部210にはアドバイス画像撮像モジュール211を備える。出力部230は制御部250と協働してユーザ端末画像表示モジュール231を実現する。また、通信部260は制御部250と協働してアドバイス送信モジュール261を実現する。
【0062】
アドバイザ端末200は、ユーザ端末100と同じように、化粧アドバイザがカメラによる撮像を行える一般的な情報端末であって良く、後述する機能を備える情報機器や電化製品である。携帯電話やスマートフォン、カメラ機能を備えた、または、ウェブカメラ等の外付けカメラを接続可能な、タブレットPC、ノートPC、ウェアラブルデバイス、またはディスプレイを備えたPC等の一般的な情報家電やその他の電化製品であって良い。アドバイザ端末200として図示しているスマートフォンはその一例にすぎない。
【0063】
アドバイザ端末200は、カメラ部210にカメラを備え、アドバイス画像撮像モジュール211を実現する。アドバイス画像撮像モジュール211により、撮影した画像をデジタルデータに変換して、記憶部240に保存する。また、撮影画像は静止画像であっても動画像であってもよく、動画像の場合には、制御部250の働きにより、動画像の一部を切り出して、静止画像として記憶部240に保存することも可能であるとする。また、撮影して得られる画像は、システムに必要なだけの情報量を持った精密な画像であるものとし、画素数や画質を指定可能であるものとする。
【0064】
入力部220は、ユーザに対するアドバイスを行うために必要な入力機能を備えるものとする。例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン等を備えることが可能である。また、ユーザ端末100との音声による会話を行うための、マイク機能等を備えることが望ましい。入力方法により、本発明は特に機能を限定されるものではない。
【0065】
出力部230は、制御部250と協働してユーザ端末画像表示モジュール231を実現する。ユーザ端末画像表示モジュールは、ユーザ端末100の出力部130に出力されている画像の一部または全部を、アドバイザ端末200の出力部230に表示させるものである。出力部230の例として、液晶ディスプレイ、PCのディスプレイ、プロジェクターへの投影等の形態が考えられる。出力方法により、本発明は特に機能を限定されるものではない。
【0066】
記憶部240として、ハードディスクや半導体メモリによる、データのストレージ部を備え、撮像した動画や静止画、ユーザ端末100から受信した動画や静止画、音声等の必要な情報を記憶する。
【0067】
制御部250として、CPU、RAM、ROM等を備える。
【0068】
通信部260として、例えば、IEEE802.11に準拠したWiFi対応デバイス又は、第3世代移動通信システム等のIMT−2000規格に準拠した無線デバイス等を備える。有線によるLAN接続であってもよい。通信部260は制御部250と協働してアドバイス送信モジュール261を実現する。アドバイス送信モジュール261により、出力部230に表示している画像や音声を送信可能であるものとする。同じく、保存した静止画や動画、入力した文字列や音声メッセージ等を、メール、SMS、チャット、SNS等で送信可能であるものとする。
【0069】
図8は、ユーザ端末100とアドバイザ端末200とサーバ300の模式図と、サーバ300の機能ブロックと各機能の関係を示す図である。ユーザ端末100とアドバイザ端末200とサーバ300は、通信網500を介して接続されているものとする。通信網500は、公衆通信網でも専用通信網でも良い。また、ユーザ端末100とアドバイザ端末200は、必要に応じてピア・トゥ・ピアの直接接続も可能であってよい。
【0070】
サーバ300は、後述の機能を備える一般的なサーバであってよく、通信部310、制御部320、記憶部330を備える。
【0071】
通信部310として、有線によるLAN接続、または、IEEE802.11に準拠したWiFi対応デバイスや第3世代移動通信システム等のIMT−2000規格に準拠した無線デバイス等を備える。通信部310は制御部320、記憶部330と協働してアドバイザ状況確認モジュール311、アドバイザ情報送信モジュール、ユーザ要求送信モジュール313を実現する。
【0072】
制御部320として、CPU、RAM、ROM等を備える。また、制御部320には記憶部330と協働する類推モジュール321を備えてもよい。類推モジュール321は、ユーザ端末100の類推モジュール141と同様に構成パーツ類推を行うもので、サーバ300で処理を行うためには、ユーザ端末100で撮像した被写体の画像を、通信部160を介してサーバ300に送信する。サーバ300は、通信部310により画像を受信し、受信した画像を記憶部330に保存し、その画像に対して。構成パーツ類推処理を行う。構成パーツ類推処理の結果は、通信部310を介してユーザ端末100に送信し、ユーザ端末100の出力部130に、類推結果表示を行う。サーバ300で構成パーツ類推処理を行う利点としては、パターンマッチングのために必要なデータを記憶部330に大量に蓄積できること、構成パーツ類推処理を更新する際には、サーバ300の類推モジュール321の更新のみで最新の処理を適用できること等があげられる。
【0073】
記憶部330として、ハードディスクや半導体メモリによる、データのストレージ部を備える。記憶部330には、ユーザ情報データベース331とアドバイザ情報データベース332を備え、システムに必要な情報を記憶する。
【0074】
図9は、化粧アドバイザによるアドバイス処理を行う場合のフローチャート図である。図9のガイド表示(ステップS401)、撮像(ステップS402)、構成パーツ類推(ステップS403)、類推結果表示(ステップS404)、化粧参照画像表示(ステップS405)、化粧参照画像選択(ステップS406)、撮像画像に化粧適用(ステップS407)は、それぞれ、図6のガイド表示(ステップS301)、撮像(ステップS302)、構成パーツ類推(ステップS303)、類推結果表示(ステップS304)、化粧参照画像表示(ステップS305)、化粧参照画像選択(ステップS306)、撮像画像に化粧適用(ステップS307)と同様の処理である。
【0075】
図9では、図6のアドバイス処理の代わりに、またはそのあとに、化粧アドバイザによるアドバイスを行う(ステップS408)。化粧アドバイザによるアドバイス処理は、画面共有によりリアルタイムにアドバイスを行う場合と、メール等でアドバイスを行う場合が考えられ、それぞれの処理内容は、後述する。
【0076】
[画面共有によるリアルタイムアドバイス処理]
図10は、ステップS408の化粧アドバイザによるアドバイス処理で、画面共有によりリアルタイムにアドバイスを行う場合のフローチャートである。
【0077】
ユーザ端末100は、アドバイザによるアドバイスを受けるために、まず、サーバ300に対してアドバイザ情報の要求を行う(ステップS501)。これは、アドバイザが複数存在する場合に、それらのアドバイザの情報を取得するための処理である。
【0078】
サーバ300は、これを受けて、アドバイザ状況確認モジュール311により、アドバイザ情報データベース332に登録されているアドバイザの状況確認を行う(ステップS502)。この状況確認は、アドバイザ情報データベース332に登録されているアドバイザ全員に対して行ってもよいし、アドバイザ情報データベースに、事前にアドバイザが応答可能な曜日や時間帯を登録しておき、その時に応答可能なアドバイザに対してのみ行ってもよい。
【0079】
サーバ300からの確認を受けたアドバイザ端末200は、化粧アドバイザが応答可能であるかどうかを確認する(ステップS503)。ここで応答可能かどうかの判断は、アドバイザ端末200からの問いかけに対して化粧アドバイザが何らかの入力を行ってもよいし、チャット等を行うアプリケーションソフトウェアと同じように、オンライン、退席中、取り込み中、オフライン、等のようにログイン状況をあらかじめ設定しておき、そのログイン状況によって判断してもよい。
【0080】
アドバイザが応答可能であるかどうかの確認の結果、応答可能である、または、応答不可能であることが確実である場合には、サーバ300にアドバイザ状況を送信する(ステップS504)。ただし、アドバイザ端末200からの問いかけに対して化粧アドバイザからの入力がなく、状況が不明である場合には、応答があるまで一定の間隔で状況の確認をおこなう。
【0081】
サーバ300は、アドバイザ端末200よりアドバイザの状況を受信する(ステップS505)。
【0082】
そして、アドバイザ情報送信モジュール312により、受信したデータとアドバイザ情報データベース332のデータを基に、アドバイザ情報を作成し、ユーザ端末100に送信する(ステップS506)。ここでのアドバイザ情報とは、ユーザ端末100でアドバイザの選択を行うために必要な、アドバイザの名前、プロフィールや写真、オンラインまたはオフラインの状況、アドバイザが手掛けた化粧参照画像等である。また、ユーザ情報データベース331等を参照して、過去にユーザ端末100のユーザが、各アドバイザにアドバイスを受けた回数等を加えてもよい。
【0083】
ユーザ端末100は、受信したアドバイザ情報を基に、出力部130にアドバイザ情報を表示する(ステップS507)。
【0084】
図17は、ユーザ端末100に表示するアドバイザ情報の一例である。アドバイザの名前、プロフィールや顔写真、オンラインまたはオフラインの状況、アドバイザが手掛けた化粧参考画像等を表示している。アドバイザを表示する順番は、今回選択した化粧参照画像を手掛けたアドバイザを優先する、オンラインのアドバイザを優先する、人気ランキング順、過去にアドバイスを受けた回数順、など、システムやユーザが任意に設定できるものとする。図17では、メッセージ1701により、どの化粧アドバイザにアドバイスを求めるかをユーザに問いかけ、ユーザは、アドバイザAのプロフィール1702、アドバイザBのプロフィール1703、アドバイザCのプロフィール1704等を参考に、化粧アドバイザを選択し、サーバ300にアドバイス要求を送信する(ステップS508)。ここでは、アドバイザAを選択したものとする。
【0085】
サーバ300は、このアドバイス要求を受け、ユーザ要求送信モジュール313により、アドバイザAのアドバイザ端末200にユーザ要求の送信を行う(ステップS509)。ここでのユーザ要求データの内容としては、画面共有によるリアルタイムアドバイス要求であることと、今回選択した化粧参照画像の情報を含めるものとする。また、ユーザ情報データベース331に、事前にユーザの名前や性別、年齢、お気に入りの化粧参照画像等を登録しておき、それらの情報をアドバイス要求とあわせて、送信してもよい。
【0086】
アドバイザ端末200は、ユーザからのリアルタイムアドバイス要求に応答するかどうか確認を行う(ステップS510)。
【0087】
ユーザ要求に応答を行う場合には、アドバイザ端末200とユーザ端末100の通信を確立し、画面共有を実行する(ステップS511)。ここでの通信確立方法は、通常の公共通信網または専用通信網での通信を行うためのものであってもよいし、状況によっては、ピア・トゥ・ピアでの直接通信を行うためのものであってもよい。
【0088】
ユーザ要求に対して、一定時間応答がない場合、または、要求を拒否する場合には、ステップS504のアドバイザ状況送信にもどり、サーバ200経由で、選択したアドバイザがリアルタイムアドバイス要求に応答できないことをユーザ端末100に通知するとともに、更新したアドバイザ情報をユーザ端末100に送信し、再度、アドバイザの選択を行うものとする。
【0089】
図18は、ユーザ端末100とアドバイザ端末200の間での、画面共有による表示の一例である。アドバイザ端末200を使用するアドバイザは1802、ユーザ端末100を使用するユーザは1801として表示している。ユーザ端末画像表示モジュール231により、ユーザ端末100の出力部130に出力されている画像の一部または全部を、アドバイザ端末200の出力部230に表示する。アドバイザ端末200のアドバイス画像撮像モジュール211により、アドバイス画像を撮像し、アドバイス送信モジュール261により、アドバイスの送信を行う(ステップS512)。ここでのアドバイスは、ユーザ1801の撮像画像や選択した化粧参照画像をもとにした、化粧品の選択方法や使用方法、具体的な化粧の手順等であり、データとしては静止画、動画、音声、参考URL等である。
【0090】
ユーザ端末100は、アドバイスを受信し(ステップS513)、アドバイスモジュール134により、出力部130にアドバイスを出力する。
【0091】
画面共有の実行中は、撮像モジュール111による撮像画像と、アドバイス画像撮像モジュール211による撮像画像が、音声とともに、ユーザ端末100とアドバイザ端末200で出力されているものとし、これにより、ユーザ1801は受信したアドバイスにしたがって、化粧を進めることができる。また、画面共有の終了については、ユーザ端末100、アドバイザ端末200、サーバ300のいずれかで行い、他の2者に通知すればよいものとする。画面共有方法に関しては、本特許を限定するものではなく、既存の技術を利用可能であるものとする。
【0092】
[メール等によるアドバイス処理]
図11は、ステップS408の化粧アドバイザによるアドバイス処理で、メール等でアドバイスを行う場合のフローチャートである。
【0093】
図11のステップS601からステップS607までの処理は、それぞれ、図10のステップS501からステップS507までの処理と同様である。
【0094】
図19は、ユーザ端末100とアドバイザ端末200の間で、メール等でアドバイスを行う場合の概要図である。ここでは、ユーザ端末100を使用するユーザは1901、アドバイザ端末200を使用するアドバイザは1902として表示している。
【0095】
ユーザがアドバイザ情報に基づいて、オフラインのアドバイザを選択した場合、または、画面共有によるリアルタイムアドバイスではなく、メール等によるアドバイスを選択した場合、アドバイス要求メール1903を送信する(ステップS608)。アドバイス要求メール1903には、保存した静止画や動画、入力した文字列や音声メッセージ等を添付してよい。ここでは、画面共有ではないアドバイスの一例としてメールを取り上げたが、必ずメールである必要はなく、SMS、チャット、SNS等の他の通信サービスにも同様に適用可能であるものとする。
【0096】
アドバイザ端末200は、ユーザからのアドバイス要求メール1903を受信し(ステップS609)、その内容を出力部230に出力する。
【0097】
アドバイザ端末200は、アドバイス画像撮像モジュール211により、要求メールの内容に応じたアドバイス画像を撮像する、または入力部220により、アドバイスのメッセージ等を入力する。アドバイスとなる静止画や動画、入力した文字列や音声メッセージ等を添付して、アドバイスメール1904を送信する(ステップS610)。
【0098】
ユーザ端末100は、アドバイスメール1904を受信し(ステップS611)、アドバイスモジュール134により、出力部130にアドバイスメール1904の内容を出力する。
【0099】
ユーザ端末100とアドバイザ端末200の間での、アドバイス要求メールとアドバイスメールのやり取りは、必要に応じて複数回行えるものとする。
【0100】
上述した手段、機能は、コンピュータ(CPU、情報処理装置、各種端末を含む)が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、CD(CD−ROMなど)、DVD(DVD−ROM、DVD−RAMなど)、コンパクトメモリ等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置(記録媒体)に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
【0101】
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
【符号の説明】
【0102】
100 ユーザ端末、200 アドバイザ端末、300 サーバ、500 通信網
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19