特許 5726421 携帯端末機

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5726421

(24)【登録日】2015年4月10日

(45)【発行日】2015年6月3日

(54)【発明の名称】携帯端末機

(51)【国際特許分類】

   H04N 5/232 20060101AFI20150514BHJP

   H04M 1/00 20060101ALI20150514BHJP

   H04M 1/725 20060101ALI20150514BHJP

   G06T 1/00 20060101ALI20150514BHJP

   A45D 44/00 20060101ALI20150514BHJP

【ＦＩ】

   H04N5/232 Z

   H04M1/00 R

   H04M1/725

   G06T1/00 340A

   A45D44/00 A

【請求項の数】7

【全頁数】10

(21)【出願番号】特願2010-7076(P2010-7076)

(22)【出願日】2010年1月15日

(65)【公開番号】特開2011-147000(P2011-147000A)

(43)【公開日】2011年7月28日

【審査請求日】2012年12月7日

(73)【特許権者】

【識別番号】314008976

【氏名又は名称】レノボ・イノベーションズ・リミテッド（香港）

(74)【代理人】

【識別番号】100084250

【弁理士】

【氏名又は名称】丸山 隆夫

(72)【発明者】

【氏名】鈴木 裕子

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開２００４−１６６３１３（ＪＰ，Ａ）

【文献】 特開２００９−２８４５５１（ＪＰ，Ａ）

【文献】 特開２００２−１１７３６５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ａ４５Ｄ ４４／００

Ｇ０６Ｔ １／００

Ｈ０４Ｍ １／００

Ｈ０４Ｍ １／７２５

(57)【特許請求の範囲】

【請求項1】

情報を画面表示する携帯表示手段と、
無線で外部に情報要求信号を送信するとともに外部から化粧品情報を受信する携帯送受信手段と、
利用者の顔を撮像して化粧前顔画像を生成する携帯撮像手段と、
前記化粧前顔画像を解析して、顔輪郭形状情報、顔輪郭位置情報を含む顔輪郭情報、および、顔部品種類情報、顔部品輪郭形状情報、顔部品位置情報を含む顔部品情報を抽出する携帯画像解析手段と、
前記化粧品情報が、化粧品種類情報と化粧品色情報とを少なくとも含み、前記化粧品種類情報、前記顔部品種類情報、前記顔部品輪郭形状情報、前記顔部品位置情報、前記顔輪郭形状情報および前記顔輪郭位置情報の少なくとも一部に基づいて化粧塗布領域を特定することにより、前記化粧前顔画像に対して仮想的に化粧を施して化粧後顔画像を生成する携帯画像合成手段と、
少なくとも化粧品情報および化粧前顔画像および化粧後顔画像を一時記憶または蓄積する携帯記憶手段と、
前記化粧後顔画像から前記化粧品情報を抽出して、抽出した化粧品情報を一覧表示する一覧表示手段とを備え、
前記携帯画像合成手段は、化粧品種類情報が示す化粧品の種類に応じて、前記化粧品種類情報、前記顔部品種類情報、前記顔部品輪郭形状情報に基づいて化粧塗布領域を特定するか、前記化粧品種類情報、前記顔部品種類情報、前記顔部品輪郭形状情報、前記顔部品位置情報に基づいて化粧塗布領域を特定するか、或いは、前記化粧品種類情報、前記顔部品種類情報、前記顔部品輪郭形状情報、前記顔部品位置情報、前記顔輪郭形状情報、前記顔輪郭位置情報に基づいて化粧塗布領域を特定する
ことを特徴とする携帯端末機。

【請求項2】

前記顔部品情報が、各顔部品の顔部品種類情報と顔部品輪郭形状情報と顔部品位置情報とを少なくとも含み、
前記顔輪郭情報が、顔輪郭形状情報と顔輪郭位置情報とを少なくとも含んでいることを特徴とする請求項１に記載の携帯端末機。

【請求項3】

前記携帯画像合成手段が、前記化粧品種類情報と顔部品種類情報と顔部品輪郭形状情報に基づいて、前記化粧前顔画像に化粧を施す化粧塗布領域を特定するとともに、前記化粧品色情報に基づいて化粧塗布領域に色塗り処理を施すことを特徴とする請求項２に記載の携帯端末機。

【請求項4】

前記携帯画像合成手段が、前記顔部品位置情報を更に用いて前記化粧塗布領域を特定することを特徴とする請求項３に記載の携帯端末機。

【請求項5】

前記携帯画像合成手段が、前記顔輪郭形状情報と顔輪郭位置情報を更に用いて前記化粧塗布領域を特定することを特徴とする請求項４に記載の携帯端末機。

【請求項6】

前記化粧品情報に関連した識別子を読み取る携帯識別子読み取り手段を備えていることを特徴とする請求項１乃至請求項５のいずれか１項に記載の携帯端末機。

【請求項7】

複数の操作キーを有する携帯入力手段と、
前記化粧前顔画像または化粧後顔画像を複数の部分画像に分割して、各操作キーの操作と各部分画像の指定とを１対１の関係でそれぞれ対応付ける携帯対応付け手段を備えていることを特徴とする請求項１乃至請求項６のいずれか１項に記載の携帯端末機。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、携帯端末機に関し、特に、メークアップ支援機能を有する携帯端末機に関する。

【背景技術】

【0002】

従来、顔データを入力する画像入力手段と、顔データの加工処理する加工部分を選択するとともに、画像入力手段が入力した顔データと選択した加工部分をネットワークを介して送信する端末と、端末が送信した顔データと加工部分を、ネットワークを介して受信するサーバと、サーバに接続され、髪型やアクセサリー等の部分データを記憶している部分データ記憶部と、サーバにより部分データ記憶部から抽出された加工部分に対応した部分データに基づき、サーバが受信した顔データを加工するデータ処理部とを備え、サーバが、データ処理部が加工した加工後の顔データを、ネットワークを介して端末に送信し、端末が受信した加工後の顔データを表示するメイクアップシステムが知られている（例えば、特許文献１参照。）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特願２０００−１４３６８５号公報（特許請求の範囲、図１）

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところが、従来のメイクアップシステムでは、ネットワークを経由して加工前の顔データを端末からサーバに送信するとともに、ネットワークを経由して加工後の顔データをサーバから端末へ送信しているため、ネットワーク通信中に顔データが外部に漏洩する危険性があるという技術的な問題があった。

【0005】

そして、このようなメイクアップシステムの利用者は主に女性であり、前述したように顔データが外部に漏洩する危険性を孕んでいる以上、化粧を施していない自らの顔データを加工前の顔データとして安心して用いることができず、メイクアップシステムの利用自体を躊躇してしまうという女性特有の心理に起因した問題があった。

【0006】

さらに、前述したようなネットワーク通信中におけるデータ漏洩に限らず、外部のサーバに顔データを送信している以上、サーバ運用者等の他人に顔データを見られる恐れや、サーバ側でのデータ漏洩の危険性を排除できず、前述した問題が更に顕著になっていた。

【0007】

そこで、本発明は、従来の問題を解決するものであって、すなわち、本発明の目的は、場所や時間に制限を受けることなく化粧後顔画像を手軽に得ることが可能であるとともに、利用者の私的情報、特に、顔画像の外部漏洩の危険性を排除して、安心して利用することが可能な携帯端末機を提供することである。

【課題を解決するための手段】

【0008】

本発明の携帯端末機は、情報を画面表示する携帯表示手段と、無線で外部に情報要求信号を送信するとともに外部から化粧品情報を受信する携帯送受信手段と、利用者の顔を撮像して化粧前顔画像を生成する携帯撮像手段と、前記化粧前顔画像を解析して顔輪郭情報および顔部品情報を抽出する携帯画像解析手段と、前記顔輪郭情報および顔部品情報および化粧品情報を基に前記化粧前顔画像に対して仮想的に化粧を施して化粧後顔画像を生成する携帯画像合成手段と、少なくとも化粧品情報および化粧前顔画像および化粧後顔画像を一時記憶または蓄積する携帯記憶手段とを備えていることにより、前述した課題を解決したものである。

【0009】

なお、本発明の携帯端末機で言うところの「化粧前顔画像」とは、携帯画像合成手段により仮想的に化粧を施す前の画像のことを意味しており、現実に化粧を施されていない顔の画像、および、現実に化粧を施された顔の画像の両方を含むものとする。

【0010】

また、本発明の携帯端末機で言うところの「顔部品」とは、唇、鼻、目、眉毛等の顔を構成する各パーツのことを意味している。

【0011】

また、本発明の携帯端末機で言うところの「化粧品の種類」とは、口紅、グロス、マスカラ、ファンデーション等の化粧品ジャンルのことを意味している。

【発明の効果】

【0012】

本発明の携帯端末機によれば、大掛かりな機器や設備を必要とすることなく、一般に携帯端末機器に装備されている携帯撮像手段を利用することが可能であるため、場所や時間に制限を受けることなく、利用者の顔写真に仮想的に化粧を施した化粧後顔画像を手軽に得ることができる。

【0013】

また、本発明の携帯端末機では、私的情報を含まない情報要求信号および化粧品情報の送受信以外は、端末内部で全ての処理を完遂することが可能であるため、通信中に利用者の私的情報が外部に漏洩する危険性を完全に排除できる。

【0014】

そして、前述したように私的情報、特に、化粧前顔画像および化粧後顔画像を外部に送信する必要がないとともに、画像撮像の場所に制限を受けないため、他人の居ない自宅などで画像撮像することで、他人に化粧前顔画像および化粧後顔画像を見られる危険性を完全に排除でき、女性利用者に安心して利用してもらうことができる。

【0015】

また、化粧品情報を外部から入手するため、多大な労力を必要とすることなく、最新の状態に更新された化粧品情報を用いた化粧後顔画像を得ることができる。

【図面の簡単な説明】

【0016】

【図1】本発明の一実施例である携帯端末機の化粧前顔画像を表示した状態を概略的に示す平面図。

【図2】化粧後顔画像を表示した携帯端末機を概略的に示す平面図。

【図3】携帯端末機の制御部を示す説明図。

【図4】化粧品の選択画面を表示した携帯端末機を概略的に示す平面図。

【図5】本発明の第１変形例である携帯端末機の制御部を示す説明図。

【図6】識別子を表示した携帯端末機を概略的に示す平面図。

【図7】本発明の第２変形例である携帯端末機の制御部を示す説明図。

【図8】携帯対応付け手段の機能を発揮させた状態の携帯端末機を概略的に示す平面図。

【発明を実施するための形態】

【0017】

以下、本発明の一実施例である携帯端末機１００を図面に基づいて説明する。

【実施例】

【0018】

まず、本発明の一実施例である携帯端末機１００は、携帯用電話機であり、図１乃至図３に示すように、情報を画面表示する携帯表示手段１１０と、利用者の顔を撮像して化粧前顔画像Ｐ１を生成する携帯撮像手段１２０と、複数の操作キー１３１を有する携帯入力手段１３０と、これら各手段を制御する制御部１４０とを備えている。

【0019】

なお、化粧前顔画像Ｐ１とは、後述する携帯画像合成手段１４３により仮想的に化粧を施す前の画像のことを意味しており、現実に化粧を施されていない顔の画像、および、現実に化粧を施された顔の画像の両方を含むものとする。
また、この化粧前顔画像Ｐ１は、後述する携帯記憶手段１４４内に一時記憶または蓄積された画像であれば、携帯表示手段１１０を用いて撮像した以外の画像であっても何ら構わない。

【0020】

また、前述した制御部１４０は、図３に示すように、ネットワーク経由で外部の管理サーバＳに対して情報要求信号を送信するとともに管理サーバＳから化粧品情報を受信する携帯送受信手段１４１と、携帯撮像手段１２０により撮像された化粧前顔画像Ｐ１を解析して顔輪郭情報および顔部品情報を抽出する携帯画像解析手段１４２と、顔輪郭情報および顔部品情報および化粧品情報を基に化粧前顔画像Ｐ１に対して仮想的に化粧を施して化粧後顔画像Ｐ２を生成する携帯画像合成手段１４３と、化粧品情報および化粧前顔画像Ｐ１および化粧後顔画像Ｐ２を一時記憶または蓄積する携帯記憶手段１４４を備えている。
なお、ここで言う顔部品とは、唇、鼻、目、眉毛などの顔を構成する各パーツを意味している。

【0021】

また、前述した化粧品情報は、化粧品種類情報と化粧品色情報とを含んでいる。
ここで言う化粧品種類情報とは、口紅、グロス、マスカラ、ファンデーションなどの化粧品ジャンルを識別する情報のことを意味している。

【0022】

また、前述した顔部品情報は、各顔部品の顔部品種類情報と顔部品輪郭形状情報と顔部品位置情報とを含んでいる。
ここで言う顔部品種類情報とは、口、鼻、目、眉毛などの顔を構成する各パーツを識別する情報のことを意味している。
ここで言う顔部品位置情報とは、化粧前顔画像Ｐ１内における顔部品の位置を示す情報のことを意味している。

【0023】

また、前述した顔輪郭情報は、顔輪郭形状情報と顔輪郭位置情報とを含んでいる。
ここで言う顔輪郭位置情報とは、化粧前顔画像Ｐ１内における顔輪郭の位置を示す情報のことを意味している。

【0024】

以下に、本発明の携帯端末機１００を用いたメークアップ支援機能の使用方法を図１乃至図４に基づいて説明する。

【0025】

まず、利用者は、外部の管理サーバＳにネットワーク経由でアクセスすることで、化粧品情報を事前に入手し、この化粧品情報を携帯記憶手段１４４に記憶させておく（第１ステップ）。
なお、この第１ステップは、後述する第２ステップとの前後を問わない。

【0026】

次に、利用者は、携帯撮像手段１２０を用いて自らの顔を撮像し、図１に示すように、化粧前顔画像Ｐ１を携帯表示手段１１０に画面表示させる（第２ステップ）。
なお、この第２ステップを省略して、携帯記憶手段１４４に予め記憶させた自己または他者の顔画像を利用しても何ら構わない。

【0027】

次に、利用者は、図４に示すように、第１ステップで携帯記憶手段１４４に記憶させた化粧品情報の中から１つまたは複数の化粧品情報を選択する（第３ステップ）。

【0028】

次に、利用者は、化粧品の使い方を選択する（第４ステップ）。
ここで言う化粧品の使い方とは、唇に対する口紅の塗り方や、まつ毛に対するマスカラの塗り方などのことを意味している。

【0029】

最後に、利用者は、図２に示すように、携帯端末機１００により画像処理を施された化粧後顔画像Ｐ２を携帯表示手段１１０により確認する（第５ステップ）。

【0030】

なお、この第５ステップの後、利用者が希望の化粧品を手軽に購入することができるように、化粧品情報に購入先のアドレス情報を含めておいてもよい。
また、更に利用者の化粧品購入を支援するため、化粧品情報を付帯した化粧後顔画像Ｐ２から化粧品情報を抜き出して、この化粧品情報を一覧表示する一覧表示手段を制御部１４０に設けておいてもよい。
また、利用者が化粧後顔画像Ｐ２の彩度や光度などを調整できるように、画像補正手段を制御部１４０に設けておいてもよい。

【0031】

続いて、本発明の携帯端末機１００による画像処理工程を図面に基づいて、以下に説明する。

【0032】

まず、携帯端末機１００は、利用者により前述した第４ステップが行われた後、携帯画像解析手段１４２を用いて、化粧前顔画像Ｐ１を解析して顔輪郭情報および顔部品情報を抽出する（第１処理工程）。

【0033】

次に、携帯端末機１００は、携帯画像合成手段１４３を用いて、化粧品種類情報と顔部品種類情報と顔部品輪郭形状情報と顔部品位置情報と顔輪郭形状情報と顔輪郭位置情報などを基に、化粧前顔画像Ｐ１に化粧を施す化粧塗布領域を特定する（第２処理工程）。

【0034】

なお、この第２処理工程は、利用者により選択された化粧品の種類に応じて、利用する情報がそれぞれ異なる。
すなわち、顔部品輪郭の内側領域に塗布される口紅やグロスなどの場合、携帯画像合成手段１４３は、化粧品種類情報と顔部品種類情報と顔部品輪郭形状情報に基づいて、化粧塗布領域を特定する。
また、顔部品輪郭の外側領域に塗布されるものの、顔輪郭の付近領域に塗布されることのないマスカラやアイシャドウなどの場合、携帯画像合成手段１４３は、化粧品種類情報と顔部品種類情報と顔部品輪郭形状情報と顔部品位置情報に基づいて、化粧塗布領域を特定する。
そして、顔部品輪郭の外側領域かつ顔輪郭の内側領域に塗布されるファンデーションやチークなどの場合、携帯画像合成手段１４３は、化粧品種類情報と顔部品種類情報と顔部品輪郭形状情報と顔部品位置情報と顔輪郭形状情報と顔輪郭位置情報に基づいて、化粧塗布領域を特定する。

【0035】

次に、携帯端末機１００は、携帯画像合成手段１４３を用いて、前述した化粧塗布領域に化粧品色情報を基に色塗り処理を施す（第３処理工程）。

【0036】

最後に、携帯端末機１００は、図２に示すように、携帯表示手段１１０を用いて、化粧後顔画像Ｐ２を画面表示する（第４処理工程）。

【0037】

このようにして得られた本実施例の携帯端末機１００は、大掛かりな機器や設備を必要とすることなく、一般に携帯端末機器に装備されている携帯撮像手段１２０を利用することが可能であるため、場所や時間に制限を受けることなく、利用者の顔写真に仮想的に化粧を施した化粧後顔画像Ｐ２を手軽に得ることができる。

【0038】

また、本実施例の携帯端末機１００では、私的情報を含まない情報要求信号および化粧品情報の送受信以外は、端末内部で全ての処理を完遂することが可能であるため、通信中に利用者の私的情報が外部に漏出する危険性を完全に排除できる。

【0039】

そして、前述したように私的情報、特に、化粧前顔画像Ｐ１および化粧後顔画像Ｐ２を外部に送信する必要がないとともに、画像撮像の場所に制限を受けないため、他人の居ない自宅などで画像撮像することで、他人に化粧前顔画像Ｐ１および化粧後顔画像Ｐ２を見られる危険性を完全に排除でき、女性利用者に安心して利用してもらうことができる。

【0040】

また、化粧品情報を外部の管理サーバＳから入手するため、多大な労力を必要とすることなく、最新の状態に更新された化粧品情報を用いた化粧後顔画像Ｐ２を得ることができる。

【0041】

次に、本発明の携帯端末機１００の第１変形例を図５および図６に基づいて説明する。
ここで、第１変形例である携帯端末機１００における携帯識別子読み取り手段１４５以外の構成は前述した内容と全く同じであるため、携帯識別子読み取り手段１４５以外の構成についてはその説明を省略する。

【0042】

第１変形例の携帯端末機１００は、図５に示すように、制御部１４０が、図６に示すような識別子を読み取る携帯識別子読み取り手段１４５を更に備えている。
この識別子には、管理サーバＳ内の特定の化粧品情報に関するアドレス情報が含まれており、このアドレス情報を基に、利用者は、所望の化粧品情報を容易に入手することが可能になる。
なお、識別子は、一次元コードや二次元コードなどの如何なるものであってもよい。

【0043】

このようにして得られた第１変形例の携帯端末機１００は、携帯識別子読み取り手段１４５を備えていることにより、化粧品店の店頭、雑誌、電車内広告などに表示された識別子を携帯識別子読み取り手段１４５により読み取ることで、化粧品情報に関するアドレス情報を容易に入手でき、化粧品情報を掲載したウェブページなどで所望の化粧品情報を探す手間が省けるため、利用者は、興味を頂いた化粧品を用いた化粧後顔画像Ｐ２を手軽かつ即座に作成できる。

【0044】

次に、本発明の携帯端末機１００の第２変形例を図７および図８に基づいて説明する。
ここで、第２変形例である携帯端末機１００における携帯対応付け手段１４６以外の構成は前述した内容と全く同じであるため、携帯対応付け手段１４６以外の構成についてはその説明を省略する。

【0045】

第２変形例の携帯端末機１００は、図７および図８に示すように、制御部１４０が、化粧前顔画像Ｐ１または化粧後顔画像Ｐ２を複数の部分画像Ｐ３に分割して、各操作キー１３１の操作と各部分画像Ｐ３の指定とを１対１の関係でそれぞれ対応付ける携帯対応付け手段１４６を更に備えている。

【0046】

本変形例では、図８に示すように、操作キー１３１ａと部分画像Ｐ３ａとを相互に対応付けており、操作キー１３１ａを押すことで部分画像Ｐ３ａを指定するように設定されている。
操作キー１３１ｂおよび部分画像Ｐ３ｂも同様であり、また、その他の操作キー１３１および部分画像Ｐ３も同様である。

【0047】

このようにして得られた第１変形例の携帯端末機１００は、携帯対応付け手段１４６を備えていることにより、パソコン等のように複雑な入力手段を設けることが難しい携帯端末機であっても、複雑なキー操作を必要とすることなく、利用者が所望の部分画像Ｐ３を直感的に指定することが可能であるため、化粧前顔画像Ｐ１または化粧後顔画像Ｐ２の一部範囲を指定して補正や加工等を容易に施すことができる。

【符号の説明】

【0048】

１００ ・・・ 携帯端末機
１１０ ・・・ 携帯表示手段
１２０ ・・・ 携帯撮像手段
１３０ ・・・ 携帯入力手段
１３１ ・・・ 操作キー
１４０ ・・・ 制御部
１４１ ・・・ 携帯送受信手段
１４２ ・・・ 携帯画像解析手段
１４３ ・・・ 携帯画像合成手段
１４４ ・・・ 携帯記憶手段
１４５ ・・・ 携帯識別子読み取り手段
１４６ ・・・ 携帯対応付け手段
Ｐ１ ・・・ 化粧前顔画像
Ｐ２ ・・・ 化粧後顔画像
Ｐ３ ・・・ 部分画像
Ｓ ・・・ 管理サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】