(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-11
(45)【発行日】2022-11-21
(54)【発明の名称】デザイン方法、眉デザインサーバ及びデザイン支援プログラム
(51)【国際特許分類】
A45D 44/00 20060101AFI20221114BHJP
G06T 7/00 20170101ALI20221114BHJP
G06Q 50/10 20120101ALI20221114BHJP
【FI】
A45D44/00 A
G06T7/00 660A
G06Q50/10
(21)【出願番号】P 2019197452
(22)【出願日】2019-10-30
【審査請求日】2022-05-18
【早期審査対象出願】
(73)【特許権者】
【識別番号】512009148
【氏名又は名称】有限会社 ティ・アール・コーポレーション
(74)【代理人】
【識別番号】100218280
【氏名又は名称】安保 亜衣子
(74)【代理人】
【識別番号】100108914
【氏名又は名称】鈴木 壯兵衞
(74)【代理人】
【識別番号】100173864
【氏名又は名称】齊藤 健治
(72)【発明者】
【氏名】福森 鈴子
【審査官】程塚 悠
(56)【参考文献】
【文献】特開2019-063479(JP,A)
【文献】特開2018-077786(JP,A)
【文献】中国特許出願公開第107464253(CN,A)
【文献】米国特許出願公開第2013/0170766(US,A1)
【文献】3D Brows,"3D Brows Tips & Tricks Part 1: Brow Mapping & Building | Microblading Courses",Youtube [online][video],2018年08月16日,<URL: https://www.youtube.com/watch?=v=THTQwkwt6Es>,主に0:30~0:40頃の映像,1:30~4:40頃の映像参照,[令和4年7月5日検索]
(58)【調査した分野】(Int.Cl.,DB名)
A45D 44/00
A61K 8/00-8/99
G06T 7/00
G06Q 50/10
(57)【特許請求の範囲】
【請求項1】
眉形状を、顔の特徴に調和させて最適化するデザイン方法であって、
複数の大分類、該大分類のそれぞれを複数の小分類に分類して用意された、複数の眉デザインパターンの内から、所望の眉デザインパターンを選択デザインパターンとして選択するステップと、
前記選択デザインパターンが決定する
眉頭の位置を第1ポイント、
前記選択デザインパターンが決定する眉尻の位置を第4ポイントと定義してそれぞれ
仮配置し、前記第1ポイントから前記第4ポイントに至る自眉
の領域の上端側を通る経路に、互いに離間した第2
ポイント及び第3ポイントを順に
仮配置し、前記第4ポイントから前記第1ポイントに戻る前記自眉
の領域の下端側を通る経路に互いに離間した第5
ポイント及び第6ポイントを
仮配置するステップと、
前記第1ポイントと前記第2ポイントを結ぶ第1ライン、前記第2ポイントと前記第3ポイントを結ぶ第2ライン、前記第3ポイントと前記第4ポイントを結ぶ第3ライン、前記第4ポイントと前記第5ポイントを結ぶ第4ライン、前記第5ポイントと前記第6ポイントを結ぶ第5ライン、前記第6ポイントと前記第1ポイントを結ぶ第6ラインを、
前記選択デザインパターンに従ってそれぞれ選択するステップと、
仮配置された前記第1ポイント~前記第6ポイントのそれぞれを、前記選択デザインパターンに従って再配置するステップと、
再配置された前記第1ポイントと再配置された前記第2ポイントを結ぶ第1ライン、再配置された前記第2ポイントと再配置された前記第3ポイントを結ぶ第2ライン、再配置された前記第3ポイントと再配置された前記第4ポイントを結ぶ第3ライン、再配置された前記第4ポイントと再配置された前記第5ポイントを結ぶ第4ライン、再配置された前記第5ポイントと再配置された前記第6ポイントを結ぶ第5ライン、再配置された前記第6ポイントと再配置された前記第1ポイントを結ぶ第6ラインをそれぞれ決定するステップと、
前記第1ライン~前記第6ラインで囲まれた領域を塗りつぶして眉の形状とするステップ
を含むことを特徴とするデザイン方法。
【請求項2】
仮配置される前記眉頭の位置は、
顔画像のデータが示すノーズラインカーブ
を基礎とし、
前記顔画像のデータが示す目頭から前記ノーズラインカーブに向かって0.4~0.6mm移動した位置を通る垂直線が前記ノーズラインカーブ
に交わる交点の位置に選ばれることを特徴とする請求項1に記載のデザイン方法。
【請求項3】
仮配置される前記第2ポイントの位置は、
仮配置された前記第1ポイントと
仮配置された前記第4ポイントとを結ぶ線に対して、
仮配置された第1ポイントから45°~90°の範囲内に複数個
が定義され、該複数個が定義された位置のそれぞれに対して、前記第1ライン及び前記第2ラインが定義されることを特徴とする請求項2に記載のデザイン方法。
【請求項4】
仮配置される前記第3ポイントの位置は、
前記顔画像のデータが示す黒目の
目尻側の端と
前記目尻の真ん中を通る垂直線と前記自眉
の領域の上端側を通る経路の交点、
前記顔画像のデータが示す白目の
前記目尻側の端を通る垂直線と前記自眉
の領域の上端側を通る経路の交点、
前記目尻よりも外側を通る垂直線と前記自眉
の領域の上端側を通る経路の交点、
のいずれかに選択されることを特徴とする請求項2又は3に記載のデザイン方法。
【請求項5】
仮配置される前記第4ポイントの位置は、
前記顔画像のデータが示す2つの小鼻のうち、前記目尻に近い側の小鼻から前記目尻を通る延長線上、前記目尻から1.3~1.7mmの位置、又は
前記顔画像のデータが示す2つの口角のうち、前記目尻に近い側の口角から前記目尻を通る延長線上、前記目尻から1.3~1.7mmの位置
のいずれかに選択されることを特徴とする請求項
4に記載のデザイン方法。
【請求項6】
眉形状を、顔の特徴に調和させて最適化するデザインを自動的に処理可能なデザインサーバであって、
顔画像のデータを分析する画像データ分析部と、
前記画像データ分析部が分析した前記顔画像の眉の形状に対し、
複数の大分類、該大分類のそれぞれを複数の小分類に分類して用意された、複数の眉デザインパターンの内から、所望の眉デザインパターンを、選択デザインパターンとして選択させる入力機能部と、
前記選択デザインパターンが決定する
眉頭の位置を第1ポイント、
前記選択デザインパターンが決定する眉尻の位置を第4ポイントと定義してそれぞれ
仮配置し、前記第1ポイントから前記第4ポイントに至る自眉
の領域の上端側を通る経路に、互いに離間した第2
ポイント及び第3ポイントを順に
仮配置し、前記第4ポイントから前記第1ポイントに戻る前記自眉
の領域の下端側を通る経路に互いに離間した第5
ポイント及び第6ポイントを
仮配置する6ポイント抽出部と、
前記第1ポイントと前記第2ポイントを結ぶ第1ライン、前記第2ポイントと前記第3ポイントを結ぶ第2ライン、前記第3ポイントと前記第4ポイントを結ぶ第3ライン、前記第4ポイントと前記第5ポイントを結ぶ第4ライン、前記第5ポイントと前記第6ポイントを結ぶ第5ライン、前記第6ポイントと前記第1ポイントを結ぶ第6ラインを
、前記選択デザインパターンに従ってそれぞれ選択する6ライン生成部と、
前記第1ライン~前記第6ラインで囲まれた領域を塗りつぶして眉の形状とする眉デザイン生成部
を
備え、前記6ポイント抽出部は更に、仮配置された前記第1ポイント~前記第6ポイントのそれぞれを、前記選択デザインパターンに従って再配置し、前記6ライン生成部は更に、再配置された前記第1ポイントと再配置された前記第2ポイントを結ぶ第1ライン、再配置された前記第2ポイントと再配置された前記第3ポイントを結ぶ第2ライン、再配置された前記第3ポイントと再配置された前記第4ポイントを結ぶ第3ライン、再配置された前記第4ポイントと再配置された前記第5ポイントを結ぶ第4ライン、再配置された前記第5ポイントと再配置された前記第6ポイントを結ぶ第5ライン、再配置された前記第6ポイントと再配置された前記第1ポイントを結ぶ第6ラインをそれぞれ決定することを特徴とする眉デザインサーバ。
【請求項7】
互いに異なる複数の眉デザインパターンを格納する6ポイントデータ記憶部であって、前記複数の眉デザインパターンのそれぞれには、前記第1ポイント~前記第6ポイントの
仮配置位置、並びに前記第1ライン~前記第6ライン
を規定する直線又は曲線の形状がそれぞれ固有のデータ構造として格納されている6ポイントデータ記憶部を更に備えることを特徴とする請求項6に記載の眉デザインサーバ。
【請求項8】
前記顔画像のデータは、ネットワークを介して接続される情報端末から送信されることを特徴とする請求項6又は7に記載の眉デザインサーバ。
【請求項9】
眉形状を、顔の特徴に調和させて最適化するデザイン方法を支援するデザイン支援プログラムであって、
コンピュータシステムを構成する画像データ分析部に、顔画像のデータを分析させる命令と、
前記コンピュータシステムを構成する6ポイント抽出部に、前記画像データ分析部が分析した前記顔画像の眉の形状に対し、
複数の大分類、該大分類のそれぞれを複数の小分類に分類して用意された、複数の眉デザインパターンの内から、所望の眉デザインパターンを選択デザインパターンとして選択した信号を受信させる命令と、
前記選択デザインパターンが決定する
眉頭の位置を第1ポイント、
前記選択デザインパターンが決定する眉尻の位置を第4ポイントと定義してそれぞれ
仮配置させ、前記第1ポイントから前記第4ポイントに至る自眉
の領域の上端側を通る経路に、互いに離間した第2
ポイント及び第3ポイントを順に
仮配置させ、前記第4ポイントから前記第1ポイントに戻る前記自眉
の領域の下端側を通る経路に互いに離間した第5
ポイント及び第6ポイントを
仮配置させる命令と、
前記コンピュータシステムを構成する6ライン生成部に、前記第1ポイントと前記第2ポイントを結ぶ第1ライン、前記第2ポイントと前記第3ポイントを結ぶ第2ライン、前記第3ポイントと前記第4ポイントを結ぶ第3ライン、前記第4ポイントと前記第5ポイントを結ぶ第4ライン、前記第5ポイントと前記第6ポイントを結ぶ第5ライン、前記第6ポイントと前記第1ポイントを結ぶ第6ラインを
、前記選択デザインパターンに従ってそれぞれ選択させる命令と、
仮配置された前記第1ポイント~前記第6ポイントのそれぞれを、前記選択デザインパターンに従って再配置させる命令と、
再配置された前記第1ポイントと再配置された前記第2ポイントを結ぶ第1ライン、再配置された前記第2ポイントと再配置された前記第3ポイントを結ぶ第2ライン、再配置された前記第3ポイントと再配置された前記第4ポイントを結ぶ第3ライン、再配置された前記第4ポイントと再配置された前記第5ポイントを結ぶ第4ライン、再配置された前記第5ポイントと再配置された前記第6ポイントを結ぶ第5ライン、再配置された前記第6ポイントと再配置された前記第1ポイントを結ぶ第6ラインをそれぞれ決定させる命令と、
前記コンピュータシステムを構成する眉デザイン生成部に、前記第1ライン~前記第6ラインで囲まれた領域を塗りつぶさせて眉の形状を得させる命令
を含む一連の命令を、前記コンピュータシステムに実施させて眉のデザインを実現することを特徴とするデザイン支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、眉形状を、その人の顔の特徴に調和させて最適化するデザイン方法、このデザインを自動的に処理可能なシステムに用いられる眉デザインサーバ、及びこの自動的な処理を支援するデザイン支援プログラムに関する。
【背景技術】
【0002】
これまで、女性が日常メイクをすることは、毎日の身だしなみの一部として一般的に行われていることである。その毎日のセルフメイクの中で、特に、眉をメイクすることに悩んでいる人は多い。美容専門雑誌やメイク本などは、眉のメイク方法などのノウハウやテクニックなどの情報を提供し、眉を描く専門道具も昔から沢山あるが、上記のような眉の悩みを解消するまでには至っていない。
【0003】
その理由は、鼻筋、目の大きさ等の顔要素(パーツ)の形状、大きさ及びバランスが千差万別であること、特に、眉毛については、人によって生え方や形状などが多種多様であり、美容専門雑誌やメイク本のとおりにやっても、自分に理想の眉形状を得ることができないことにある。また、自分自身の眉毛をセルフケアできないという人が増えていることも、上記眉の悩みの問題を顕在化させる原因の一つとなっている。
【0004】
また、近年、男性の美容に関する意識が高まっており、男性についても眉のセルフケアを行うことが当たり前になりつつある。即ち、男性についても、今後、上記のような眉の悩みの問題が発生するであろうことが容易に予測される。このような状況下において、かかる問題を早急に解決することが望まれている。
【0005】
従来、眉の悩みを解消するための手段としては、上記のようなセルフケアではなく、メイクアップアーティストや美容師などの美容専門技術者に相談することが最も有効であると考えられている。しかし、美容専門技術者による眉デザインは、一般的に確立された技術に基づくものではなく、その人個人のノウハウによるところが大きい。従って、美容専門技術者が提案する眉デザインは、美容専門技術者ごとに異なることとなり、顧客にとっては、これがさらに眉の悩みを助長させる原因となっている。
【0006】
以上のようなことから、眉デザインに関しては、眉デザインの経験者であるか、又は未経験者であるかにかかわらず、人それぞれの鼻筋、目の大きさ等の顔要素とのバランスに基づき、その人の理想の眉形状を自動的にデザイン可能な眉デザインを実現するシステムの開発が望まれている。このような眉デザインシステムの例としては、従来、特許文献1に開示されるものが知られている。しかし、特許文献1に開示されるシステムでは、人の鼻、目、眉の位置に基づき、眉ガイドブロック(眉デザイン)を作成するものの、この眉ガイドブロックは眉の輪郭を大雑把に示すものであり、その人にとって理想の眉形状であると言うことができない。
【先行技術文献】
【特許文献】
【0007】
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、上記課題を解決するためになされたもので、人それぞれの鼻筋、目の大きさ等の顔要素とのバランスに基づき、その人の理想の眉形状を最適化するデザイン方法、このデザインを自動的に処理可能なシステムに用いられる眉デザインサーバ、及びこの自動的な処理を支援するデザイン支援プログラムを提案することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本発明の第1の態様は、(a)眉頭の位置を第1ポイント、眉尻の位置を第4ポイントと定義してそれぞれ配置し、第1ポイントから第4ポイントに至る眉の上側を通る経路に、互いに離間した第2及び第3ポイントを順に配置し、第4ポイントから第1ポイントに戻る眉の下側を通る経路に互いに離間した第5及び第6ポイントを配置するステップと、(b)第1ポイントと第2ポイントを結ぶ第1ライン、第2ポイントと第3ポイントを結ぶ第2ライン、第3ポイントと第4ポイントを結ぶ第3ライン、第4ポイントと第5ポイントを結ぶ第4ライン、第5ポイントと第6ポイントを結ぶ第5ライン、第6ポイントと第1ポイントを結ぶ第6ラインをそれぞれ定義するステップと、(c)第1ライン~第6ラインで囲まれた領域を塗りつぶして眉の形状とするステップを含む眉のデザイン方法であることを要旨とする。
【0010】
本発明の第2の態様は、(i)顔画像のデータを分析する画像データ分析部と、(j)画像データ分析部が分析した顔画像の眉の形状に対し、眉頭の位置を第1ポイント、眉尻の位置を第4ポイントと定義してそれぞれ配置し、第1ポイントから第4ポイントに至る眉の上側を通る経路に、互いに離間した第2及び第3ポイントを順に配置し、第4ポイントから第1ポイントに戻る眉の下側を通る経路に互いに離間した第5及び第6ポイントを配置する6ポイント抽出部と、(k)第1ポイントと第2ポイントを結ぶ第1ライン、第2ポイントと第3ポイントを結ぶ第2ライン、第3ポイントと第4ポイントを結ぶ第3ライン、第4ポイントと第5ポイントを結ぶ第4ライン、第5ポイントと第6ポイントを結ぶ第5ライン、第6ポイントと第1ポイントを結ぶ第6ラインをそれぞれ定義する6ライン生成部と、(l)第1ライン~第6ラインで囲まれた領域を塗りつぶして眉の形状とする眉デザイン生成部を備える眉デザインサーバであることを要旨とする。
【0011】
本発明の第3の態様は、(p)コンピュータシステムを構成する画像データ分析部に、顔画像のデータを分析させる命令と、(q)コンピュータシステムを構成する6ポイント抽出部に、画像データ分析部が分析した顔画像の眉の形状に対し、眉頭の位置を第1ポイント、眉尻の位置を第4ポイントと定義してそれぞれ配置し、第1ポイントから第4ポイントに至る眉の上側を通る経路に、互いに離間した第2及び第3ポイントを順に配置し、第4ポイントから第1ポイントに戻る眉の下側を通る経路に互いに離間した第5及び第6ポイントを配置させる命令と、(r)コンピュータシステムを構成する6ライン生成部に、第1ポイントと第2ポイントを結ぶ第1ライン、第2ポイントと第3ポイントを結ぶ第2ライン、第3ポイントと第4ポイントを結ぶ第3ライン、第4ポイントと第5ポイントを結ぶ第4ライン、第5ポイントと第6ポイントを結ぶ第5ライン、第6ポイントと第1ポイントを結ぶ第6ラインをそれぞれ定義させる命令と、(s)コンピュータシステムを構成する眉デザイン生成部に、第1ライン~第6ラインで囲まれた領域を塗りつぶさせて眉の形状を得させる命令を含む一連の命令を、コンピュータシステムに実施させて眉のデザインを実現するデザイン支援プログラムであることを要旨とする。第3の態様に係るデザイン支援プログラムを動作させ、実行するコンピュータシステムは第2の態様で述べたウェブ(Web)サーバとしての眉デザインサーバが好適であるが、眉デザインサーバにインターネット、ローカルエリアネットワーク(LAN)等のネットワークを介して接続されたクライアントPCとしての情報端末でもよい。情報端末が第3の態様に係るデザイン支援プログラムを実施するためには、第2の態様で述べた眉デザインサーバから第3の態様に係るデザイン支援プログラムをダウンロードして、情報端末の処理部で実施すればよい。或いは、第3の態様に係るデザイン支援プログラムをウェブサーバ上においておき、それをクライアントPCのブラウザに読み込む仕掛けをHTMLファイル等に設定することでウェブページ上での眉デザインの操作を可能にする、動的なウェブページを実現するようにしてもよい。
【発明の効果】
【0012】
本発明の例によれば、人それぞれの鼻筋、目の大きさ等の顔要素とのバランスに基づき、その人の理想の眉形状を最適化するデザイン方法、このデザインを自動的に処理可能なシステムに用いられる眉デザインサーバ、及びこの自動的な処理を支援するデザイン支援プログラムを実現できる。
【図面の簡単な説明】
【0013】
【
図1】本発明の代表的な実施形態(以下において「代表実施形態」と言う。)に係る眉デザインサーバの概略と、この眉デザインサーバが構成する情報通信システムの全体構成の概略を模式的に示すブロック図である。
【
図2】代表実施形態に係る眉デザインサーバの画像データ分析部を中心としたハードウェア資源の論理的な構成を説明する図である。
【
図3】代表実施形態に係る眉デザインサーバが構成する情報通信システムに用いられる情報端末のハードウェア資源の例を示す図である。
【
図4】代表実施形態に係る眉デザインサーバの画像データ分析部のオブジェクト検出論理回路のハードウェア資源の論理的な構成を説明する図である。
【
図5】代表実施形態に係る自動的な眉のデザイン方法の例を示すフローチャートである。
【
図6】
図5のステップS3における顔要素の画像分析の処理の一例を説明するフローチャートである。
【
図7】
図6のステップS13における顔要素の探索処理を機械学習の手法を用いる場合の処理の流れを説明するフローチャートである。
【
図8】情報端末で撮像された眉デザインアプリのユーザの顔画像の例を示す図である。
【
図9】
図8で撮像された顔画像に対し、両目、両眉、鼻及び口を、顔要素の特徴量として眉デザインアプリのユーザに認識させる図の例である。
【
図10】6つの点の位置を定義する規則(ルール)を説明する図である。
【
図11】
図11(a)は、眉デザインに必要な6つの点の位置を説明する図、
図11(b)は、眉デザインに必要な6つの線を説明する図、
図11(c)は、6つの線の間を塗りつぶした眉デザインの二次元パターンを説明する図である。
【
図12】3つのカテゴリーのそれぞれにおける6つの点の位置の決め方のルール(規則)を説明する模式図である。
【
図13】6ポイント理論のルール(規則)が定める第1カテゴリーに含まれる4つのサブクラスの眉デザインパターンの形状例を示す図である。
【
図14】6ポイント理論のルール(規則)が定める第2カテゴリーに含まれる4つのサブクラスの眉デザインパターンの形状例を示す図である。
【
図15】6ポイント理論のルール(規則)が定める第3カテゴリーに含まれる4つのサブクラスの眉デザインパターンの形状例を示す図である。
【
図16】代表実施形態に係るデザイン方法によって生成された、顔要素のバランスを考慮した眉デザインが、眉デザインアプリの画面に表示される様子を説明する図である。
【発明を実施するための形態】
【0014】
以下において、図面を参照して、本発明の代表実施形態を一つ取り上げ、例示的に説明する。以下の説明では
図10に例示したように、左目及び左目の眉に着目して説明するが、
図8及び
図9に示す右目に関しても同様に本発明の技術的思想が適用されることは勿論である。このため、特に断りが無い限り、左目に着目している説明においては、
図8及び
図9に示す顔画像のデータが示す2つの小鼻のうち、左目に近い側の小鼻が本発明の眉のデザインに関係することは勿論である。又、右目に着目しているときは、右目に近い側の小鼻が本発明の眉のデザインに関係する。同様に、左目に着目している説明においては、
図8及び
図9に示す顔画像のデータが示す2つの口角のうち、左目に近い側の口角が本発明の眉のデザインに関係し、右目に着目しているときは、右目に近い側の口角が本発明の眉のデザインに関係することは勿論である。又、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
【0015】
但し、図面は模式的なものであり、厚みと平面寸法との関係、各部材の大きさの比率等は現実のものとは異なることに留意すべきである。従って、具体的な厚み、寸法、大きさ等は以下の説明から理解できる技術的思想の趣旨を参酌してより多様に判断すべきものである。又、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。又、以下に示す代表実施形態は、本発明の技術的思想を具体化するための方法及びその方法に用いる装置等を例示するものであって、本発明の技術的思想は、例示的な説明に用いたコンピュータシステムの構成、アイブロウペンシルの材質、眉のデザイン方法の手順等を下記のものに特定するものではない。本発明の技術的思想は、代表実施形態で記載された内容に限定されず、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。
【0016】
(6ポイント理論による眉のデザインの概略)
先ず、本発明者が発明した眉のデザインに関する6ポイント・アンド・6ライン理論(以下において「6ポイント理論」と略記する。)について説明する。6ポイント理論は、人間の理想の眉の形状を、人それぞれの鼻筋、目の大きさ等の顔要素とのバランスに基づき最適にデザインするため指針(ルール)を規定するデザイン理論である。代表実施形態に係る6ポイント理論においては、
図11(a)に示すように、自分のオリジナルな眉(以下において「自眉」という。)の形状に沿って、6つの点(6ポイント)を自動的に選択し、これらの6つの点を眉のデザインの基礎としている。
図11(a)に示す左目の場合であれば、6つの点は眉頭のスタート位置を第1ポイント(A/P)とし、第2ポイント(B/P)、第3ポイント(C/P)、第4ポイント(D/P)、第5ポイント(E/P)及び第6ポイント(F/P)が、自眉の形状に沿って時計方向に自動的に定義されるルールを、6ポイント理論が規定している。
【0017】
即ち、
図10に示すように、左目の上の眉の眉頭の位置を第1ポイント(A/P)、眉尻の位置を第4ポイント(D/P)と定義してそれぞれ配置し、第1ポイント(A/P)から第4ポイント(D/P)に至る自眉の上側を通る経路に、互いに離間した第2ポイント(B/P)及び第3ポイント(C/P)を順に配置し、第4ポイント(D/P)から第1ポイント(A/P)に戻る自眉の下側を通る経路に互いに離間した第5ポイント(E/P)及び第6ポイント(F/P)を配置する。例えば、眉頭の第1ポイント(A/P)の位置は、顔画像のデータが示す鼻筋(ノーズラインカーブ)と、顔画像のデータが示す目頭から鼻筋に向かって0.4~0.6mm、例えば0.5mm移動した位置を通る垂直線が鼻筋を切る位置に選ばれる。一方、第4ポイント(D/P)の位置は、顔画像のデータが示す小鼻から目尻を通る延長線上、目尻から1.3~1.7mmの位置、例えば1.5mmの位置、又は顔画像のデータが示す口角から目尻を通る延長線上、目尻から1.3~1.7mmの位置、例えば1.5mmの位置のいずれかに選択される。
【0018】
具体的には、第1ポイント(A/P)と第4ポイント(D/P)の間の眉の上部に第1ポイント(A/P)から離間した第2ポイント(B/P)が定義され、第2ポイント(B/P)と第4ポイント(D/P)の間の眉の上部に、第2ポイント(B/P)及び第4ポイント(D/P)から離間した第3ポイント(C/P)が定義される。第2ポイント(B/P)の位置は、第1ポイント(A/P)と第4ポイント(D/P)とを結ぶ線に対して、第1ポイント(A/P)から45°~90°の範囲内に複数個選ばれる。又、第3ポイント(C/P)の位置は、顔画像のデータが示す黒目の端と目尻の真ん中を通る垂直線と自眉の上側を通る経路の交点、顔画像のデータが示す白目の端を通る垂直線と自眉の上側を通る経路の交点、目尻よりも外側を通る垂直線と自眉の上側を通る経路の交点のいずれかに選択される。
【0019】
更に、第1ポイント(A/P)と第4ポイント(D/P)の間の眉の下部に第4ポイント(D/P)から離間した第5ポイント(E/P)が定義され、第5ポイント(E/P)と第1ポイント(A/P)の間の眉の下部に、第1ポイント(A/P)及び第5ポイント(E/P)から離間した第6ポイント(F/P)が定義される。右目の場合であれば、眉頭のスタート位置を第1ポイント(A/P)とし、第2ポイント(B/P)、第3ポイント(C/P)、第4ポイント(D/P)、第5ポイント(E/P)及び第6ポイント(F/P)が、自眉の形状に沿って反時計方向に6つの点が定義される。
【0020】
代表実施形態に係る眉のデザイン方法においては、次に、自眉の形状に沿った6つの点を結ぶ6つの線(6ライン)が、
図11(b)に示すように決定され、眉のデザインが進められる。
図11(b)に示す第1ライン(A/L)は、
図11(b)に示す第1ポイント(A/P)とその右上の第2ポイント(B/P)を結ぶ線であり、第2ライン(B/L)は、第2ポイント(B/P)とその右上の第3ポイント(C/P)を結ぶ線である。また、
図11(b)に示す第3ライン(C/L)は、
図11(a)に示す第3ポイント(C/P)とその右上の第4ポイント(D/P)を結ぶ線であり、第4ライン(D/L)は、第4ポイント(D/P)とその左側の第5ポイント(E/P)を結ぶ線である。
【0021】
さらに、第5ライン(E/L)は、第5ポイント(E/P)とその左側の第6ポイント(F/P)を結ぶ線であり、第6ライン(F/L)は、第6ポイント(F/P)とその左側の第1ポイント(A/P)を結ぶ線である。第1ライン(A/L)、第2ライン(B/L)、第3ライン(C/L)、第4ライン(D/L)、第5ライン(E/L)及び第6ライン(F/L)の線種は、表1の眉デザインパターンに示すように予め規定されている。
図11(b)に示すように各点を結ぶ6つの線が生成されると、
図11(c)に示すように6つの線の間が塗りつぶされて、全体としての眉の面がデザインされる。
【0022】
代表実施形態に係る6ポイント理論による眉の形状のデザイン方法においては、眉毛のデザインを行う人(ユーザ)の性別、年齢、趣味、嗜好や願望に対応して、ユーザが希望する眉形状が選択可能なように複数の眉デザインパターンが、表1に示すように用意される。表1に一例を示すように、複数の眉デザインパターンは、大分類(カテゴリー)と大分類を更に細分化した小分類(サブクラス)に整理される。
【0023】
表1に示した例示の場合においては、3つのカテゴリー(大分類)と、各カテゴリーを4つに細分化したサブクラスに分類され、代表実施形態に係る眉のデザイン方法において全部で12種類が用意される。表1は例示であり、12種類の眉デザインパターンに限定されるものではない。
【表1】
【0024】
表1の左側のカラム(列)に示された第1カテゴリーのフェミニン(女性らしさ)の眉デザインパターンの形状例は
図13に示されている。表1の中央のカラムに示された第2カテゴリーのマスキュリン(中性的)の眉デザインパターンの形状例は
図14に示され、表1の右側のカラムに示された第3カテゴリーのメンズ(男性的)の眉デザインパターンの形状例は
図15に示される。
図13~
図15に示す眉デザインのパターンでは、便宜上、
図11(b)に示した第6ライン(F/L)の図示を省略している。
【0025】
図13では、第1カテゴリーの「フェミニン(女性らしさ)」に含まれる(a) アーチ、(b) アーチ&コーナー、(c) コーナー&アーチ、(d) コーナーの4つのサブクラス(小分類)の眉デザインパターンの形状例が示されている。表1に示した第1カテゴリーは、眉頭の位置にある第1ポイントと第4ポイントとを結ぶ基準線(以下において「眉基準線」という。)に対して、第1ポイントから45°方向に曲線(円弧)の第1ラインが第2ポイントに向かって伸びる形状を眉デザインパターンの特徴とする。「フェミニン」の眉デザインパターンは、4つのサブクラスのいずれも、第1ライン、第2ライン及び第5ラインが曲線である。第1カテゴリーの第3ポイントは、眉基準線の長さで定義される「水平眉長」の1/3だけ眉基準線に沿って第4ポイントから第1ポイント方向に戻った位置において、眉基準線を垂直に切る直線が、自眉の上側を通る経路と交わる位置に定義される。
【0026】
表1の第1カテゴリーの1番目のサブクラスとして示した「アーチ」は、
図13(a)に示すように、第1ライン~第5ラインのすべてが曲線(円弧)の眉デザインパターンである。表1の第1カテゴリーの2番目のサブクラスとして示した「アーチ&コーナー」は、
図13(b)に示すように、第4ラインが直線で、他の第1ライン~第3ライン及び第5ラインが曲線の眉デザインパターンである。表1の第1カテゴリーの3番目のサブクラスとして示した「コーナー&アーチ」は、
図13(c)に示すように、第3ラインが直線で、他の第1ライン、第2ライン、第4ライン、第5ラインが曲線の眉デザインパターンである。表1の第1カテゴリーの4番目のサブクラスとして示した「コーナー」は、
図13(d)に示すように、第3ライン及び第4ラインが直線で、他のラインがすべて曲線の眉デザインパターンである。
【0027】
又、
図14には、第2カテゴリーの「マスキュリン(中性的)」に含まれる(a) アーチ、(b)アーチ&コーナー、(c)コーナー&アーチ、(d)コーナーの4つのサブクラス(小分類)の眉デザインパターンの形状例が示されている。表1に示した第2カテゴリーに示した「アーチ」は、第1ポイントと第4ポイントとを結ぶ眉基準線に対して、第1ポイントから75°方向に第1ラインの直線が第2ポイントに向かって伸びる形状を眉デザインパターンの特徴とする。マスキュリンの眉デザインパターンは、4つのサブクラスのいずれも、第1ライン、第2ライン及び第5ラインが直線である。第2カテゴリーの第3ポイントは、眉基準線の長さで定義される「水平眉長」の1/4だけ眉基準線に沿って第4ポイントから第1ポイント方向に戻った位置において、眉基準線を垂直に切る直線が、自眉の上側を通る経路と交わる位置に定義される。
【0028】
表1の第2カテゴリーの1番目のサブクラスとなる「アーチ」は、
図14(a)に示すように、第3ライン及び第4ラインが曲線で、他のラインがすべて直線の眉デザインパターンである。表1の第2カテゴリーの2番目のサブクラスとして示した「アーチ&コーナー」は、
図14(b)に示すように、第3ラインが曲線で、他の第1ライン、第2ライン、第4ライン、第5ラインが直線の眉デザインパターンである。表1の第2カテゴリーの3番目のサブクラスとして示した「コーナー&アーチ」は、
図14(c)に示すように、第4ラインが曲線で、他の第1ライン~第3ライン及び第5ラインが直線の眉デザインパターンである。表1の第2カテゴリーの4番目のサブクラスとして示した「コーナー」は、
図14(d)に示すように、第1ライン~第5ラインのすべてが直線の眉デザインパターンである。
【0029】
そして、
図15には、第3カテゴリーの「メンズ」に含まれる(a)ストレート、(b)コーナー&アーチ、(c)コーナー、(d)ストレート&アーチの4つのサブクラス(小分類)の眉デザインパターンの形状例が示されている。表1に示した第3カテゴリーは、第1ポイントと第4ポイントとを結ぶ眉基準線に対して、第1ポイントから90°方向に第1ラインが第2ポイントに向かって伸びる形状を眉デザインパターンの特徴とする。「メンズ」の眉デザインパターンの4つのサブクラスのいずれも、第1ラインと第2ラインはいずれも直線であるが、第1ラインと第2ラインは直交している。第3カテゴリーの第3ポイントは、眉基準線の長さで定義される「水平眉長」の1/5だけ眉基準線に沿って第4ポイントから第1ポイント方向に戻った位置において、眉基準線を垂直に切る直線が、自眉の上側を通る経路と交わる位置に定義される。
【0030】
表1の第3カテゴリーの1番目のサブクラスとして示した「ストレート」は、
図15(a)に示すように、第1ライン~第5ラインの5本の線で眉デザインパターンの形状例が示されている。「ストレート」は、第1ライン~第5ラインのすべてが直線の眉デザインパターンである。表1の第3カテゴリーの2番目のサブクラスとして示した「コーナー&アーチ」は、
図15(b)に示すように、第4ラインが曲線で、他のラインがすべて直線の眉デザインパターンである。表1の第3カテゴリーの3番目のサブクラスとして示した「コーナー」は、
図15(c)に示すように、第1ライン~第5ラインのすべてが直線の眉デザインパターンである。表1の第3カテゴリーの4番目のサブクラスとして示した「ストレート&アーチ」は、
図15(d)に示すように、第3ライン及び第4ラインが曲線で、他のラインが直線の眉デザインパターンである。
【0031】
以上のとおり、代表実施形態に係る6ポイント理論は、自眉をベースに眉の二次元形状のデザインを調整するルール(指針)を規定している。このため、代表実施形態に係る6ポイント理論によれば、鼻や目等の顔要素の位置、形状及び大きさと調和させて、最適な位置と形状の眉をデザインすることが可能になる。特に、眉のデザインにおいては、顔要素の一つである目とのバランスが重要であるが、代表実施形態に係る6ポイント理論によれば、眉のパターンの太さが、目の大きさ(立幅)に対する答えがあるように規定されている。例えば、眉のパターンの太さは、立幅の45~75%の間の数値に6ポイント理論が規定することができる。代表実施形態に係る6ポイント理論によれば、素人が自分で眉デザインを調整する基本理論を提供するものであり、指導する人や感性に依存しない、眉デザインが可能になる。
【0032】
尚、
図13~
図15に示す眉デザインのパターンは、一例であり、代表実施形態に係る眉のデザイン方法においては、
図13~
図15に示す眉デザインのパターンに限定されるものではない。また、表1では、全部で12種類の眉デザインを例示したが、眉デザインアプリのユーザが選択可能な眉デザインパターンの種類を増やすことで、13種類以上の眉デザインを作成できるようにしてもよい。
【0033】
なお、代表実施形態に係る6ポイント理論を用いた眉のデザイン方法は、眉の下地にパウダーやファンデーションを塗って下準備をした後、コンピュータシステムの表示部の画面に示された6ポイント理論によるデザインを見ながら、自分の顔の眉の部分にアイブロウペンシル等で6ポイントに依拠した6ラインのガイドラインを描くことにより実施できる。
【0034】
アイブロウペンシルは、着色材,体質材,水溶性結合材及びエマルションワックス等を混練,成形,乾燥して製造した筆芯を有するような鉛筆でよい。アイブロウペンシルの着色材には、カーボンブラック、黒酸化鉄、黒酸化チタン、ベンガラ、グンジョウ等が代表的であるが、これらに限られるのものではない。いずれにせよ、市販されているアイブロウペンシルが利用できる。例えば、コンピュータシステムの表示部の画面に示された代表実施形態に係る眉のデザインを参照しながら、横目で鏡を見て、眉山から眉尻から描き、次に眉頭から眉山の眉を描くような手順等が採用可能である。眉の上のラインを描き、1本ずつ線を描き足すようにして眉を描き、太さを調整してもよい。更に、アイブロウパウダーを使って、薄くノーズシャドウを入れてもよい。その後、眉マスカラを塗ってもよい。
【0035】
コンピュータシステムの表示部の画面に、代表実施形態に係る眉のデザインを表示する際には、以下に説明するようにコンピュータシステムを用いて自動設計することが好ましい。
図1に示すように、インターネット、LAN、広域ネットワーク(WAN)などのネットワーク30を用いて6ポイント理論を公開する場合は、6ポイント理論では12種類又は13種類以上の眉デザインを作成可能であっても、必要に応じて、例えば、11種類以下の特定の数のパターンのみを、コンピュータシステムの表示部に表示可能なようにしてもよい。
【0036】
(眉デザインサーバ)
図1に示すように、代表実施形態に係る眉デザインサーバ20の基礎となる情報通信システムの全体構成は、眉デザインサーバ20と、クライアントPCとしての第1情報端末10a,第2情報端末10b,第3情報端末10c,……を備える。第1情報端末10a,第2情報端末10b,第3情報端末10c,……と眉デザインサーバ20は、ネットワーク30を介して互いに接続されている。第1情報端末10a,第2情報端末10b,第3情報端末10c,……を含む、クライアントPCとしての複数の情報端末がネットワーク30を介して眉デザインサーバ20に接続することで、同じ画像(眉デザイン)を見ながら、指導者が受講者を遠隔指導したり、又は遠く離れた技術者同士が勉強し合ったりすることができる。
【0037】
図1に示す例は、いわゆるクラウドサービスを想定している。クラウドサービスとは、第1情報端末10a,第2情報端末10b,第3情報端末10c,……を含む複数の情報端末が関係するコンピュータ・ソフトウェア・プログラムのすべてをインストールしなくても、ネットワーク30を介して、ウェブサーバとしての眉デザインサーバ20に接続することで、所望のサービスを受けられるシステムのことである。或いは、Java(登録商標)のアプレット等と同様に、眉デザインサーバ20側で作成したコンピュータ・ソフトウェア・プログラムをウェブ(Web)サーバとしての眉デザインサーバ20側に常駐させて動作させ、それをクライアントPCのブラウザに読み込む仕掛けをHTMLファイル等に設定することでウェブページ上での眉デザインの操作を可能にする、動的なウェブページを実現できる。
【0038】
便宜上、第1情報端末10aのみに着目し、第1情報端末10aと眉デザインサーバ20がネットワーク30を介して互いに接続された場合を例に簡略化して説明するが、ネットワーク30によって接続されるすべての情報端末が、本発明の対象となり得る。第1情報端末10aのみに着目している都合上、以下において第1情報端末10aを単に「情報端末10a」と略記して説明するが、ネットワーク30を介して眉デザインサーバ20に接続される情報端末の台数は3台に限定されるものではなく、4台以上の複数の台数で構わない。情報端末10aは、
図3に示すように、記憶部11と、処理部12と、表示部13と、撮像部14とを備える。
【0039】
図1に示す眉デザインサーバ20は、画像データ記憶部21a,6ポイントデータ記憶部21b,プログラム記憶部21c、通信部22及び処理部23を備える。画像データ記憶部21aは、情報端末10aから送信された画像データを格納する。6ポイントデータ記憶部21bは、6ポイント理論に従ってデザインするための眉デザインパターンのデータが格納されている。即ち、6ポイントデータ記憶部21bには、互いに異なる複数の眉デザインパターンが格納されえいる。具体的には、6ポイントデータ記憶部21bに格納された複数の眉デザインパターンのそれぞれには、第1ポイント(A/P)~第6ポイント(F/P)の配置位置、並びに第1ライン(A/L)~第6ライン(F/L)の線種等が、それぞれ固有のデータ構造として格納されている。プログラム記憶部21cには、6ポイント理論が規定する眉デザインの設計を、美容専門技術者(経験者、未経験者)の技量によらず、理想の眉デザインを常に提供できるように、眉デザインサーバ20を駆動するためのコンピュータ・ソフトウェア・プログラムが格納されている。通信部22はネットワーク30を介して情報端末10aとの双方向の通信を可能にする。
【0040】
プログラム記憶部21cには、
図6に示すフローチャートのアルゴリズムに従った一連の命令が格納されている。即ち、プログラム記憶部21cには、コンピュータシステムを構成する画像データ分析部232に、顔画像のデータを分析させる命令と、コンピュータシステムを構成する6ポイント抽出部233に、画像データ分析部232が分析した顔画像の眉の形状に対し、眉頭の位置を第1ポイント(A/P)、眉尻の位置を第4ポイント(D/P)と定義してそれぞれ配置し、第1ポイント(A/P)から第4ポイント(D/P)に至る自眉の上側を通る経路に、互いに離間した第2ポイント(B/P)及び第3ポイント(C/P)を順に配置し、第4ポイント(D/P)から第1ポイント(A/P)に戻る自眉の下側を通る経路に互いに離間した第5ポイント(E/P)及び第6ポイント(F/P)を配置させる命令と、コンピュータシステムを構成する6ライン生成部234に、第1ポイント(A/P)と第2ポイントを結ぶ第1ライン、第2ポイントと第3ポイントを結ぶ第2ライン、第3ポイントと第4ポイント(D/P)を結ぶ第3ライン、第4ポイント(D/P)と第5ポイントを結ぶ第4ライン、第5ポイントと第6ポイントを結ぶ第5ライン、第6ポイントと第1ポイント(A/P)を結ぶ第6ラインをそれぞれ定義させる命令と、コンピュータシステムを構成する眉デザイン生成部235に、第1ライン~第6ラインで囲まれた領域を塗りつぶさせて眉の形状を得させる命令を含む一連の命令を、コンピュータシステムに実施させるデザイン支援プログラムが格納されている。
【0041】
処理部23は、
図1に示すように、画像データ取得部231、画像データ分析部232、6ポイント抽出部233,6ライン生成部234,眉デザイン生成部235及び眉デザイン表示部236を備える。画像データ分析部232は、顔画像のデータを分析する。6ポイント抽出部233は、画像データ分析部232が分析した顔画像の眉の形状に対し、眉頭の位置を第1ポイント(A/P)、眉尻の位置を第4ポイント(D/P)と定義してそれぞれ自動的に配置し、第1ポイント(A/P)から第4ポイント(D/P)に至る自眉の上側を通る経路に、互いに離間した第2ポイント(B/P)及び第3ポイント(C/P)を順に自動的に配置し、第4ポイント(D/P)から第1ポイント(A/P)に戻る自眉の下側を通る経路に互いに離間した第5ポイント(E/P)及び第6ポイント(F/P)を自動的に配置する。
【0042】
6ライン生成部234は、第1ポイント(A/P)と第2ポイント(B/P)を結ぶ第1ライン(A/L)、第2ポイント(B/P)と第3ポイント(C/P)を結ぶ第2ライン(B/L)、第3ポイント(C/P)と第4ポイント(D/P)を結ぶ第3ライン(C/L)、第4ポイント(D/P)と第5ポイント(E/P)を結ぶ第4ライン(D/L)、第5ポイント(E/P)と第6ポイント(F/P)を結ぶ第5ライン(E/L)、第6ポイントと第1ポイント(A/P)を結ぶ第6ライン(F/L)をそれぞれ定義する。そして、眉デザイン生成部235は、第1ライン(A/L)~第6ライン(F/L)で囲まれた領域を塗りつぶして眉の形状とする
【0043】
処理部23は更にバス237を備え、画像データ取得部231、画像データ分析部232、6ポイント抽出部233,6ライン生成部234,眉デザイン生成部235及び眉デザイン表示部236はバス237により互いに接続される。処理部23は、バス237を介して画像データ記憶部21a,6ポイントデータ記憶部21b,プログラム記憶部21cとのデータ若しくは命令のやりとりをする。
【0044】
情報端末10aから送信された画像データは、通信部22を介して画像データ取得部231が取得し、その後、画像データ記憶部21aに格納される。処理部23の画像データ分析部232は、画像データ記憶部21aから画像データを読み出す論理回路である画像取得論理回路173と、画像データ記憶部21aから読み出した画像データからカラー画像の色情報を生成する論理回路であるカラー画像生成処理論理回路174と、色情報を含む画像データから特徴量を抽出する論理回路である特徴抽出論理回路175を備える。情報端末10aから送信された画像データが白黒画像である場合は、カラー画像生成処理論理回路174は省略可能である。この場合、特徴抽出論理回路175は、画像データ記憶部21aに格納された画像データから直接特徴量を抽出する。
【0045】
処理部23の画像データ分析部232は、更に、抽出された特徴量を用いて階層的な機械学習(機械学習手法)による探索処理を実行してオブジェクト検出をする論理回路であるオブジェクト検出論理回路176と、オブジェクト検出論理回路176が実行した各スケールで検出した顔画像の顔要素候補ウインドウを、全スケールでの探索終了後に統合処理を実行する論理回路である統合処理論理回路177と、統合処理された結果を検出結果として出力する処理を実行する論理回路である検出結果出力処理論理回路178とを論理構成を示すハードウェア資源として備える。
【0046】
図2に示すように、画像データ分析部232は更に、カラー画像生成処理論理回路が生成したカラー画像の色情報を格納するカラー画像記憶装置171aと、特徴抽出論理回路175が抽出した画像データの特徴量を格納する特徴情報記憶装置171bと、オブジェクト検出論理回路176が探索処理を実行する際に必要なデータの出し入れをする探索処理データ記憶装置171cと、統合処理論理回路177が統合処理を実行して生成した出力画像を格納する出力画像記憶装置171dを備える。情報端末10aから送信された画像データが白黒画像である場合は、カラー画像記憶装置171aは省略可能である。ハードウェア資源の物理的構成としては、カラー画像記憶装置171aは、
図1に示した画像データ記憶部21aの一部をなすように構成できる。
【0047】
画像データ分析部232は更にバス172を備え、画像取得論理回路173、カラー画像生成処理論理回路174、特徴抽出論理回路175、オブジェクト検出論理回路176、統合処理論理回路177及び検出結果出力処理論理回路178はバス172により互いに接続される。画像データ分析部232は、バス237を介してカラー画像記憶装置171a,特徴情報記憶装置171b,探索処理データ記憶装置171c及び出力画像記憶装置171dとのデータのやりとりをする。
図2に示す画像データ分析部232は、カラー画像記憶装置171aと、特徴情報記憶装置171bと、探索処理データ記憶装置171cをワークスペースとして種々の画像処理を施し、画像データを生成し、生成された画像データは出力画像記憶装置171dに格納する。
【0048】
カラー画像生成処理論理回路174の生成する「色情報」には、顔画像の顔要素の認識に用いられるRGB表色系,YCC表色系,HSV表色系、或いはCIEが定めるLUV表色系やLAB表色系等が含まれる。特徴抽出論理回路175が抽出する「顔要素の特徴量」には、顔の全体輪郭や大きさ、両目の形状、大きさ及び位置、両眉の形状、大きさ及び位置、鼻の形状、大きさ及び位置、口の形状、大きさ及び位置等が含まれる。具体的には、目頭、目尻、及び黒目の位置等が6ポイント理論の代表的な特徴量として、オブジェクト検出論理回路176が機械学習によりオブジェクト検出をする。両眉については、眉頭、眉山、及び眉尻の位置等を顔要素の代表的な特徴量として、機械学習によりオブジェクト検出される。また、鼻については、ノーズラインカーブ(鼻筋)及び小鼻の位置等を顔要素の代表的な特徴量として、機械学習によりオブジェクト検出される。
【0049】
代表実施形態に係る処理部23は、画像処理エンジン等があれば実現可能である。又、特徴量生成や識別処理に演算負荷が高い場合、ハードウェアに実装してもよい。例えば、マイクロチップとして実装されたマイクロプロセッサ(MPU)等を使用してコンピュータシステムで処理部23を構成することも可能である。又、コンピュータシステムを構成する処理部23として、算術演算機能を強化し信号処理に特化したデジタルシグナルプロセッサ(DSP)や、メモリや周辺回路を搭載し組み込み機器制御を目的としたマイクロコントローラ(マイコン)等を用いてもよい。或いは、現在の汎用コンピュータのメインCPUを処理部23に用いてもよい。
【0050】
更に、処理部23の一部の構成又はすべての構成をフィールド・プログラマブル・ゲート・アレイ(FPGA)のようなプログラマブル・ロジック・デバイス(PLD)で構成してもよい。更に、処理部23は、CPUコア風のアレイとPLD風のプログラム可能なコアを同じチップに搭載した構造でもよい。このCPUコア風のアレイは、予めPLD内部に搭載されたハードマクロCPUと、PLDの論理ブロックを用いて構成したソフトマクロCPUを含む。つまりPLDの内部においてソフトウェア処理とハードウェア処理を混在させた構成でもよい。
【0051】
したがって、処理部23を構成する画像データ取得部231、画像データ分析部232、6ポイント抽出部233,6ライン生成部234,眉デザイン生成部235及び眉デザイン表示部236等はソフトウェアプログラム上の仮想的なハードウェア資源として存在しても、実際のゲートアレイとしてのハードウェア資源としても存在しうる。同様に、
図2に示した画像データ分析部232を構成する画像取得論理回路173、カラー画像生成処理論理回路174、特徴抽出論理回路175、オブジェクト検出論理回路176、統合処理論理回路177及び検出結果出力処理論理回路178等も仮想的なハードウェア資源又は実際のハードウェア資源としても存在しうる。
【0052】
処理部23の一部の構成又はすべての構成をFPGAのようなPLDで構成した場合は、カラー画像記憶装置171a、特徴情報記憶装置171b、探索処理データ記憶装置171c及び出力画像記憶装置171d等は、PLDを構成する論理ブロックの一部に含まれるメモリブロック等のメモリ要素として構成することができる。即ち、
図2に示したカラー画像記憶装置171a、特徴情報記憶装置171b、探索処理データ記憶装置171c及び出力画像記憶装置171d等は、個別の半導体記憶装置の一部を占めるワーキングメモリとして存在してもよく、画像データ記憶部21aの一部の記憶領域を利用して存在してもよい。或いは、図示を省略したHDD等の他のメモリを用いた仮想メモリとして存在してもよく、PLDを構成する論理ブロックの一部に含まれるメモリブロック等として存在してもよい。
【0053】
又、6ポイント理論の画像情報から特徴量を抽出する特徴抽出論理回路175は、カラー画像から抽出する特徴量(局所特徴量)として、色情報、勾配強度GMの情報、勾配方向ヒストグラム(HOG)の情報を採用する。顔画像を複数のピクセル(画素)に分割した場合において、GMは、あるピクセルの輝度値をI(x, y) としたとき、
fx(x,y)=I(x+1,y)-I(x-1,y) ........(1)
fy(x,y)=I(x,y+1)-I(x,y-1) ........(2)
と、勾配fx(x,y)及び勾配fy(x,y)の強度を定義する。そして、x,y方向の勾配fx(x,y),勾配fy(x,y)からエッジの強度の値として、
GM=(fx(x,y)2 +fy(x,y)2)1/2 ...........(3)
で、勾配強度GMが与えられる。輝度が高いほど勾配強度GMの値が高い。
【0054】
HOGは、以下の式(4)でfy(x,y)/fx(x,y)の比から勾配の向く角度θ(x,y)を算出した場合において、式(5)が与える角度θ(x,y)が属するビン(bin)の領域内での要素数のヒストグラムである。顔の形状の局所的な変化を吸収するように,できるだけ共通した情報を抽出するHOGは、式(5)では、あるビンの数kに属する方向成分θ'をクロネッカー(Kronecker)のデルタ関数δ(θ'=k)で表現して、微小領域内で積算することを表現している:
θ(x,y)=arctan(fy(x,y)/fx(x,y)) .....(4)
HOG(k) = Σδ(θ'=k), k∈{1,2,...,K) ...(5)
以上のように、特徴抽出論理回路175は、式(1)~(5)を用いて、色特徴、勾配強度特徴、勾配方向特徴の内少なくとも一つを6ポイント理論の局所特徴量として抽出する。
【0055】
図2に示した画像データ分析部232のオブジェクト検出論理回路176は、抽出された複数の特徴量を組み合わせて、画像中の探索点毎に6ポイント理論のオブジェクト(6ポイント理論による正解画像)と非オブジェクト(不正解画像)の判別を機械学習の手法(機械学習手法)で行う。オブジェクト検出論理回路176における6ポイント理論のオブジェクトと非オブジェクトの判別に用いる機械学習にはアダブースト(AdaBoost)やサポートベクターマシン(SVM)等の識別器が好適である。又、複数の特徴の内6ポイント理論のオブジェクトと非オブジェクトの判別率の高い個々の特徴、又はその組み合わせた特徴対から直列的な処理で判定、スコアリングして機械学習(統計的学習)を実行する。
【0056】
図3に示す情報端末10aは、スマートフォン、タブレット端末、ノートパソコンなどの携帯情報端末である。但し、情報端末10aは、デスクトップパソコンなどの固定型の情報端末であってもよいし、後述するデザイン方法又はプログラムを主として実行することを目的に開発された専用の情報端末であってもよい。
【0057】
図3に示すような情報端末10aの構成にすることにより、眉デザインサーバ20からの命令や情報が情報端末10aに表示され、逆に、情報端末10aからの命令や情報が眉デザインサーバ20に伝達される双方向通信を実現できる。情報端末10aの記憶部11は、顔画像を記憶する。記憶部11は、ランダムアクセスメモリ(RAM)などの要素により実現可能である。尚、顔画像とは、これから理想の眉毛をデザインしようとする人の顔の画像のことである。
【0058】
情報端末10aの処理部12は、顔画像に基づき、実際に理想の眉毛をデザインする処理を行う。処理部12は、プロセッサ、中央演算処理装置(CPU)、特定用途向け集積回路(ASIC)などの演算処理が可能な要素により実現できる。5G時代のネットワークでは、パケット通信により眉デザインサーバ20との双方向通信が高速で実現できるので、情報端末10aの処理部12の負担を軽減して、実質的にすべての処理を眉デザインサーバ20の処理部23で実行できる。
【0059】
情報端末10aの処理部12の処理を、眉デザインサーバ20の処理部23で実行するようなクラウドサービスにおいては、情報端末10aの処理部12は、このようなクラウドサービスにおける演算処理のうちの、情報端末10aでの実際に処理を行う部分となる。情報端末10aの記憶部11は、クラウドサービスにおいて眉デザインサーバ20の処理部23の演算に必要な情報を一時的に記憶し、眉デザインサーバ20の処理部23から送られてきた情報を一時的に記憶する機能を有すればよい。したがって、情報端末10aの記憶部11は、レジスタ、キャッシュメモリ、SRAM等の一時的な記憶するメモリとすることもできる。情報端末10aが
図6に示すフローチャートのアルゴリズムに従ったデザイン支援プログラムを実施するためには、
図1の眉デザインサーバ20から
図6に示すフローチャートのアルゴリズムに従ったデザイン支援プログラムをダウンロードして、情報端末10aの処理部12で実施すればよい。
【0060】
尚、
図2の代表実施形態に係る眉デザインサーバ20が構成するシステムをクラウドサービスに依存しないようにし、眉デザインサーバ20の処理部23は、後述するデザイン方法の全ての処理ステップを処理可能であってもよい。又、クラウドサービスへの依存のレベルを下げて、その一部の処理ステップを処理し、残りの処理ステップを情報端末10aの処理部12に行わせるものであってもよい。しかし、機械学習等の複雑な処理を実行する場合は、クラウドサービスを利用して、眉デザインサーバ20の処理部23で実質的な処理を行うのは好ましい。
【0061】
情報端末10aの表示部13は、処理部12により作成された理想の眉毛を表示する。表示部は、有機ELディスプレイ、液晶ディスプレイなどの要素により実現可能である。表示部13は、表示機能と入力機能の2つを備えるタッチパネルであることが好ましい。
【0062】
撮像部14は、これから理想の眉毛をデザインしようとする人の顔画像を撮像する。撮像部14は、CMOSイメージセンサ、CCDイメージセンサなどの要素により実現可能である。撮像部14は、情報端末10aに組み込まれていることが好ましいが、情報端末10aとは独立した要素であっても構わない。
【0063】
図2に示すシステム構成において、情報端末10aの撮像部14は、これから理想の眉毛をデザインしようとする人の顔画像を撮像する。眉デザインサーバ20の記憶部21は、情報端末10aから送られてきた顔画像のデータを記憶する。眉デザインサーバ20の処理部23は、顔画像のデータに基づき、実際に理想の眉毛をデザインする処理を行う。そして、情報端末10aの表示部13は、眉デザインサーバ20の処理部23により作成された理想の眉毛を表示する。
【0064】
代表実施形態に係る眉デザインサーバ20が構成するシステムのユーザとしては、美容専門技術者(眉形成技術者)が好適である。美容専門技術者が、自らの眉形成技術を高めるため、未経験者の人材教育のため、又は顧客に提案、施術などするために、代表実施形態に係る眉デザインサーバ20が構成するシステムを使用できる。ここで、「眉形成技術」とは、眉毛の形を、顧客の顔バランス、眉弓筋の特徴、目とのバランスなどを総合的に考えて、眉毛を人工毛などで付け足し、或いはカット、ワックス、ハサミなどを使用して、眉のデザイン(形)を作る技術のことである。
【0065】
既に述べたように、眉の悩みを抱える女性及び男性は、近年非常に多い。これらの非美容専門技術者が、顧客として美容専門技術者のもとに相談にくる事例も増えている。従って、美容専門技術者は、代表実施形態に係る眉デザインサーバ20が構成するシステムを用いて、予め、自らの眉形成技術を高めておけば、顧客に良質なサービスを提供することができる。
【0066】
また、代表実施形態に係る眉デザインサーバ20が構成するシステムは、人それぞれの顔要素の位置や大きさ等とのバランスに基づき、その人の理想の眉形状を、本発明者が発明した6ポイント理論に従って最適化したデザインとして提供することを可能にする。最適化したデザインがネットワーク30を介して提供されるので、美容専門技術者(経験者、未経験者)の技量によらず、非美容専門技術者であっても、理想の眉デザインの便益を、ユビキタス空間において、常に受けることが可能になる。
【0067】
(自動デザイン方法)
次に、
図5を参照しながら、代表実施形態に係る自動的なデザイン方法を説明する。以下に説明する代表実施形態に係る自動的なデザイン方法は、
図1~
図3の代表実施形態に係る眉デザインサーバ20が構成するシステムにより、ユーザが地球上のどこにいても、ユビキタスに提供することが可能である。又、以下の説明で、便宜上「先ず」「次に」等の文言が用いられているが、代表実施形態に係る眉デザイン方法をこの順で実施することが必須であることを意味するものではない。
【0068】
まず、
図5のステップS1において、
図2等に示したネットワーク30を介して眉デザインサーバ20から、眉デザインのアプリ(コンピュータ・ソフトウェア・プログラム)をダウンロードする。
図2等に示した情報端末10aがネットワーク30を介して眉デザインのアプリをダウンロードすると、情報端末10aの所有者であるユーザは、眉デザインのアプリ(以下において「眉デザインアプリ」という。)のユーザになる。眉デザインアプリのユーザは、眉デザインアプリの画面において、所望の眉デザインパターンを選択する。
【0069】
例えば、情報端末10aがタッチパネル機能を有する表示部13を備えている場合には、その表示部13の眉デザインアプリの画面に、
図13~
図15に示すような眉デザインパターンの形状例が表示される。この場合、眉デザインアプリのユーザは、眉デザインアプリが提供する画面上の選択ボタンを押すなどして、自分が希望する眉デザインパターンを、
図13~
図15に例示された眉デザインパターンの内から選択することができる。また、情報端末10aの処理部12又は眉デザインサーバ20の処理部23は、ステップS1において、眉デザインアプリのユーザが選択した眉デザインパターンのデータを受け付ける。
【0070】
代表実施形態に係る6ポイント理論においては、眉デザインパターンは、眉毛のデザインを行う人の性別や、眉デザインアプリのユーザがどのような眉形状を望んでいるかなどに基づいて、
図13~
図15に示すような複数の種類に分類している。この代表実施形態に係る6ポイント理論の指針にしたがって用意された複数の種類のデータは、
図2の眉デザインサーバ20の記憶部21に予め格納されている。従って、眉デザインアプリのユーザは、眉デザインアプリを用いて記憶部21に予め格納されているデータにアクセスし、記憶部21に格納されているデータのなかから1つを選択すればよい。
【0071】
代表実施形態に係る6ポイント理論の一例によれば、表1に示したように、3種類のカテゴリー(大分類)と、各カテゴリーを4つに細分するサブクラスが(小分類)用意されている。ステップS1において、眉デザインアプリの画面において、眉デザインアプリのユーザが表1に示す12パターンの内から所望の眉デザインパターンを選択したらステップS2に進む。
図5のステップS2において、眉デザインアプリのユーザは、情報端末10a等を用いて、眉デザインアプリのユーザの顔の写真を撮る。ユーザの顔の写真(顔画像)のデータは、後述する画像分析を行うために必要なものであるから、例えば、
図8に示すように、首から上の顔の全体、少なくとも両目、両眉、鼻、及び口が写っていることを条件に、次の処理ステップに進むことが許可される。
【0072】
ここで、顔画像のデータが情報端末10aを用いて撮像される場合は、情報端末10aの撮像部14により撮像される。また、情報端末10aの記憶部11は、撮像部14から顔画像のデータを格納する。記憶部11に格納された顔画像のデータは、情報端末10aの送信部を介してネットワーク30に伝達され、ネットワーク30を介して眉デザインサーバ20の受信部に送られる。眉デザインサーバ20の受信部から顔画像のデータは、眉デザインサーバ20の記憶部21に格納される。情報端末10aの記憶部11又は、眉デザインサーバ20の記憶部21が、顔画像のデータを格納したら、
図5のステップS3に進む。
【0073】
ステップS3において、顔要素の位置や大きさ等とのバランスから、眉デザインアプリのユーザの顔を機械学習の手法で画像分析をする。この機械学習による画像分析は、
図6及び
図7のフローチャートにしたがって、情報端末10aの処理部12又は眉デザインサーバ20の処理部23で行われる。情報端末10aの処理部12において、ステップS3の画像分析をする場合は、情報端末10aの記憶部11に格納された顔画像のデータを情報端末10aの処理部12が読み出して処理する。眉デザインサーバ20の処理部23において、ステップS3の画像分析をする場合は、眉デザインサーバ20の記憶部21に格納された顔画像のデータを眉デザインサーバ20の処理部23が読み出して処理を実行する。
【0074】
ステップS3における画像データ分析部232による画像分析は、眉デザインアプリのユーザの顔画像のデータを、6ポイント理論が要求する各顔要素の特徴量に分解して、各顔要素の特徴量毎に、本人の各パーツ(顔要素)の位置や形状を認識することを目的とする。例えば、
図9に示すように、両目については、目頭、目尻、及び黒目の位置を顔要素の特徴量として画像データ分析部232が認識し、両眉については、眉頭、眉山、及び眉尻の位置を顔要素の特徴量として画像データ分析部232が認識する。また、鼻については、ノーズラインカーブ及び小鼻の位置を顔要素の特徴量として画像データ分析部232が認識し、口については、口角の位置を顔要素の特徴量として画像データ分析部232が認識する。ステップS3で画像データ分析部232が顔要素の位置や大きさ等とのバランスを考慮した画像分析が終了すると、
図5のステップS4に進む。
【0075】
眉デザインの基本となる
図11、
図13~15に示すような6つの点のデータ及び6つの線の種類のデータは、6ポイント理論によって予め用意され、眉デザインサーバ20の6ポイントデータ記憶部21bに格納されている。このため、代表実施形態に係る自動的なデザイン方法によれば、眉デザインアプリのユーザが6ポイントデータ記憶部21bに格納された眉デザインパターンの選択に基づき、6つの点の位置及び6つの線の種類を決定することで、人それぞれの顔要素の位置や大きさ等とのバランスに基づき、その人の理想の眉形状を自動的にデザインすることが可能になる。
【0076】
ステップS4において、6ポイント抽出部233が6ポイント理論に従って、顔画像のデータに対し、理想となる眉毛の6つの点(6ポイント)を抽出し、抽出した6つの点のデータを情報端末10aに送信する。即ち、6ポイント抽出部233は、顔画像のデータにより認識された本人の各パーツ(顔要素)の位置に基づき、6ポイント理論に従って眉デザインアプリのユーザの顔画像に最適な眉デザインを選択し、6つの点の大まかな仮位置を定義する。6ポイント抽出部233は抽出した6つの仮位置の点のデータを情報端末10aに送信するので、情報端末10aにダウンロードされた眉デザインアプリの画面に6つの仮位置の点が表示される。
【0077】
例えば、ステップS4において、6ポイント抽出部233は6ポイント理論によるコンピュータ・ソフトウェア・プログラムに命令された演算を実行し、ユーザの顔画像に最適な眉デザインとして
図10に示す第1ポイント~第6ポイントの6つの仮位置の点を定義し、眉デザインアプリの画面に表示する。(a)
図10の第1ポイント(A/P)は、眉頭のスタート位置である。ノーズラインカーブと、目頭から内側に所定幅(例えば、0.4~0.6mm、例えば0.5mm)入った位置から直上に引いた直線とが交わる点が第1ポイントになる。(b)
図10の第2ポイント(B/P)は、眉頭の高さ位置であり、第1ポイント(A/P)の直上(90°)から45°の範囲内に決定される点である。(c)
図10の第3ポイント(C/P)は、眉山の位置であり、黒目の端から目尻までの範囲内において眉弓筋に合わせて決定される点である。(d)
図10の第4ポイント(D/P)は、眉尻の位置であり、小鼻と目尻を結ぶ延長線と、口角と目尻を結ぶ延長線との間に決定される点である。(e)
図10の第5ポイント(E/P)は、眉山の真下又はその近傍の位置である。(f)
図10の第6ポイント(F/P)は、口角の真上又はその近傍の位置である。
【0078】
ステップS4において、ユーザの顔画像に最適な眉デザインを構成する6つの仮位置の点が、眉デザインアプリの画面に選択されると、
図5のステップS5において、6ポイント抽出部233が、本人の自眉について対応する6つの点が、眉デザインアプリの画面上に仮自動的に配置される。
図5のステップS5での仮自動的に配置のデータは、後述する
図5のステップS8において、作成された眉デザインを顔画像のデータに合成するために必要なデータになる。
【0079】
ステップS5において、本人の自眉について対応する6つの仮位置の点が眉デザインアプリの画面上に仮自動的に配置されると、ステップS6において、6つの仮位置の点を結ぶ6つの線の種類を決定して6つの仮位置の点を再デザイン(再自動的に配置)する。即ち、ステップS6において6ライン生成部234が、
図11(b)に示すように、第1ライン(A/L)は
図11(a)に示す第1ポイント(A/P)とその右上の第2ポイント(B/P)を結ぶ線と定義し、第2ライン(B/L)を第2ポイント(B/P)とその右上の第3ポイント(C/P)を結ぶ線と定義し、第2ポイント(B/P)と第3ポイント(C/P)の位置を再デザインする。
【0080】
また、
図11(b)に示す第3ライン(C/L)は
図11(a)に示す第3ポイント(C/P)とその右上の第4ポイント(D/P)を結ぶ線と定義し、第4ライン(D/L)を第4ポイント(D/P)とその左側の第5ポイント(E/P)を結ぶ線と定義し、第4ポイント(D/P)と第5ポイント(E/P)の位置を再デザインする。さらに、第5ライン(E/L)を第5ポイント(E/P)とその左側の第6ポイント(F/P)を結ぶ線と定義し、第6ライン(F/L)を第6ポイント(F/P)とその左側の第1ポイント(A/P)を結ぶ線と定義し、第6ポイント(F/P)と第1ポイント(A/P)の位置を再デザインする。
【0081】
ステップS6において再デザインされる6つの点の位置は、例えば、
図12に示すように顔画像の上で、3つのカテゴリーのそれぞれにおいて規定されている6ポイント理論のルール(規則)に従って決定される。先ず、
図12に示す顔画像のノーズラインカーブと、顔画像の目頭から内側に0.4~0.6mm、例えば0.5mm入った位置から直上に引いた直線とが交わる点に第1ポイント(A/P)を決定する。
図11(a)に示す左から2番目の第2ポイント(B/P)は、ユーザの眉デザインパターンの選択に基づき、以下のように3パターンがある。フェミニン(第1カテゴリー)を選択した場合は、
図12の顔画像の上に決まった第1ポイント(A/P)から斜め45°の方向に、1cm進んだ顔画像の位置に第2ポイント(B/P)を決定する。この場合、第1ライン(A/L)は、アーチラインとする。マスキュリン(第2カテゴリー)を選択した場合は、第1ポイント(A/P)から斜め75°の方向に、1cm進んだ顔画像の位置に第2ポイント(B/P)を決定する。この場合、第1ライン(A/L)は、ストレートラインとする。メンズ(第3カテゴリー)を選択した場合は、第1ポイント(A/P)の真上90°の方向に、目の高さの80%進んだ顔画像の位置に第2ポイント(B/P)を決定する。この場合、第1ライン(A/L)は、ストレートラインとする。
【0082】
図11(a)に示す左から3番目の第3ポイント(C/P)は、
図12の目頭と目尻を結ぶ直線に平行で、かつ上記により決定された第2ポイント(B/P)から延びる延長線上において、ユーザの眉デザインパターンの選択に基づき決定する。フェミニンを選択した場合は、
図12の顔画像のIで示す黒目の端から白目の端までのちょうど真ん中(50%)の位置に対応する箇所を第3ポイント(C/P)と決定する。マスキュリンを選択した場合は、
図12の顔画像のIIで示す白目の端の真上の位置に第3ポイント(C/P)を決定する。メンズを選択した場合は、
図12の顔画像のIIIで示す位置となる目尻の真上の箇所を第3ポイント(C/P)と決定する。
【0083】
図11(a)に示す左から4番目の第4ポイント(D/P)は、ユーザの眉デザインパターンの選択に基づき決定する。即ち、フェミニンを選択した場合は、
図12の顔画像の小鼻と左目の目尻を結ぶ斜めの延長線上において、目尻から右上方向に1.5cmの間隔幅の顔画像の位置に第4ポイント(D/P)を決定する。一方、マスキュリン又はメンズを選択した場合は、口角と目尻を結ぶ斜めの延長線上において、目尻から右上方向に1.5cmの間隔幅の顔画像の位置に第4ポイント(D/P)を決定する。
【0084】
4番目の第4ポイント(D/P)から左に折れ曲がった5番目の第5ポイント(E/P)は、第3ポイント(C/P)の真下に位置して眉の太さを決める。第5ポイント(E/P)は、ユーザの眉デザインパターンの選択に基づき、第3ポイント(C/P)から所定の長さ下った顔画像の位置に、以下のように決定する。フェミニンを選択した場合は、
図12の顔画像の第3ポイント(C/P)から、第1ライン(A/L)の長さの65%の長さ下った顔画像の位置に第5ポイントを決定し、眉の太さが選ばれる。マスキュリンを選択した場合は、顔画像の第3ポイント(C/P)から、第1ライン(A/L)の長さの80%の長さ下った顔画像の位置に第5ポイントを決定して眉の太さが選ばれる。メンズを選択した場合は、第3ポイント(C/P)から、第1ライン(A/L)の長さの100%の長さ下った顔画像の位置に第5ポイントを決定する。
【0085】
最後となる6番目の第6ポイント(F/P)は、
図12の顔画像では口角の真上又はその近傍の位置である。第6ポイント(F/P)は、ユーザの眉デザインパターンの選択に基づき、顔画像の第1ポイント(A/P)から所定の方向及び所定の長さ右方向に移動した顔画像の位置に決定する。フェミニンを選択した場合は、顔画像の第1ポイントから斜め20°の方向に、第1ポイント(A/P)から1cmの長さ右方向に移動した、
図12のiiiで示す顔画像の位置に第6ポイント(F/P)を決定する。マスキュリンを選択した場合は、第1ポイントから斜め10°の方向に、第1ポイント(A/P)から1.25cmの長さ右方向に移動した
図12の顔画像のiiで示す位置に第6ポイント(F/P)を決定する。メンズを選択した場合は、
図12の第1ポイントから真横(斜め0°の方向)に、第1ポイント(A/P)から1.5cmの長さ右方向に移動した顔画像の位置、又は第1ライン(A/L)の長さと100%同じ長さ分、右方向に移動した
図12の顔画像のiで示す位置に、第6ポイント(F/P)を決定する。
【0086】
以上のようにしてステップS6において顔画像の6つの点が再デザインされると、ステップS7において6ライン生成部234が、例えば、
図11(b)及び
図13~
図15に示すように、これら6つの点を結ぶ6つのラインを顔画像の上に決定する。即ち、ステップS7では、6ポイント理論に当てはめて、ステップS6で再デザインされ各点を結ぶ線を6ライン生成部234が生成する。6つのラインの種類(線種)は、6ポイント理論に基づき、アーチラインR及びストレートラインSから選択する。
【0087】
例えば、
図13のフェミニンを選択した場合で、
図13(a)のアーチの場合、第1ラインから第5ラインまでの線種をアーチラインRの眉デザインのパターンとなる。また、
図13のフェミニンを選択した場合で、
図13(c)のコーナー&アーチの線種場合、第1ライン、第2ライン、第4ライン、及び第5ラインの線種をアーチラインRとし、第3ラインの線種をストレートラインSとする眉デザインのパターンとなる。さらに、
図14のマスキュリンを選択した場合で、
図14(a)のアーチの線種の場合、第1ライン、第2ライン、及び第5ラインの線種をストレートラインSとし、第3ライン及び第4ラインの線種をアーチラインRとする眉デザインのパターンとなる。
【0088】
また、
図14のマスキュリンを選択した場合で、
図14(c) の線種がコーナー&アーチの場合、第1ライン、第2ライン、第3ライン、及び第5ラインの線種をストレートラインSとし、第4ラインの線種をアーチラインRとする眉デザインのパターンとなる。また、
図15のメンズを選択した場合で、
図15(a) の線種がストレートの場合、第1ラインから第5ラインまでの線種をストレートラインSとする眉デザインのパターンになる。さらに、
図15のメンズを選択した場合で、
図15(b) の線種がアーチ&コーナーの場合、第1ライン、第2ライン、第3ライン及び第5ラインの線種をストレートラインSとし、第4ラインの線種をアーチラインRとする眉デザインのパターンとなる。
【0089】
ステップS7で各点を結ぶ線を6ライン生成部234が生成されると、ステップS8において、眉デザイン生成部235がステップS7で決定し線の間を塗りつぶして、全体としての眉の面をデザインする。その結果、理想の眉デザインが完成する。
【0090】
最後に、
図5のステップS9において、ステップS8において眉デザイン生成部235が生成した眉デザインを
図16の右側の写真に示すように表示する。眉デザインは、例えば、眉デザインアプリのユーザが、例えば
図3の表示部13に表示された決定ボタン等を押すことにより、
図3の表示部13に表示される。
【0091】
ここで、上記の
図5のステップS5において、本人の自眉(顔画像内の自眉)のデータについて、対応する6つの点が予め画像分析により求められている。従って、
図16の右側の写真に示すように、デザインされた眉デザインの6つの点と、本人の自眉の6つの点とを重ね合わせ、両者が重なっている部分はそのまま残す処理を行う。
【0092】
図16の左側の写真に示す自眉部分に関しては、デザインされた眉デザインからはみ出た自眉部分については、本人の肌の色を判定し、その肌の色をスポイト機能ではみ出た自眉部分に塗り潰すことにより自動的に削除する。一方、本人の自眉からはみ出たデザインされた眉デザイン部分については、本人の自眉を判定し、その自眉と同じ色又は画像ではみ出たデザイン部分を埋めることにより自動的に眉毛を付け足す。
【0093】
そして、このようにして、顔の全体輪郭、両目の形状、大きさ及び位置、両眉の形状、大きさ及び位置、鼻の形状、大きさ及び位置、口の形状、大きさ及び位置等の顔要素のバランスを考慮した眉デザインが、
図5のステップS9において
図16の右側の写真に示すように表示される。
図5のステップS3における顔要素の画像分析の処理の一例を、
図6に示すフローチャートを用いて説明するが例示に過ぎない。先ず、ステップS11において、
図2に示した画像データ分析部232の画像取得論理回路173は画像データ記憶部21aから画像データを読み出し、カラー画像生成処理論理回路174が、読み出した画像データから色情報含む画像データを取得する。ステップS11で取得された色情報を含む画像データは、カラー画像記憶装置171aに格納する。
【0094】
次に、ステップS12において、特徴抽出論理回路175がカラー画像記憶装置171aから色情報を含む画像データを読み出し、色情報を含む顔画像に対し、エッジ検出して6ポイント理論の特徴量を算出して、特徴量マップを生成する。既に述べたとおり、情報端末10aから送信された画像データが白黒画像である場合は、カラー画像生成処理論理回路174やカラー画像記憶装置171aは省略可能である。この場合、特徴抽出論理回路175は、画像データ記憶部21aに格納された画像データに対してエッジ検出して特徴量を抽出する。
【0095】
ステップS12においては、顔の全体輪郭、両目の形状、大きさ及び位置、両眉の形状、大きさ及び位置、鼻の形状、大きさ及び位置、口の形状、大きさ及び位置等の顔要素を6ポイント理論の特徴量として、オブジェクト検出論理回路176がオブジェクト検出をする。具体的には、目頭、目尻、及び黒目の位置が、両眉については、眉頭、眉山、及び眉尻の位置が、鼻については、ノーズラインカーブ及び小鼻の位置が6ポイント理論の顔要素の特徴量としてオブジェクト検出され、特徴量マップが生成される。生成された顔要素の特徴量マップは特徴情報記憶装置171bに格納する。
【0096】
次に、画像データ分析部232のオブジェクト検出論理回路176は、ステップS13において、特徴情報記憶装置171bに格納された顔要素の特徴量マップを用いて機械学習の手法でウインドウサーチをする。このステップS13においては、例えば、矩形の検出ウインドウを網羅的な走査(ラスタスキャン)して探索処理を実行する。ステップS13における顔要素の探索処理は大きさと解像度を変えて階層的に実施してもよい。大きさと解像度が異なる各スケールの特徴量マップに対し、それぞれの特徴量マップの矩形の検出ウインドウを用いてウインドウサーチを実施する。
【0097】
オブジェクト検出論理回路176は更にステップS14において、網羅的なウインドウサーチをしながら各検出ウインドウ内に、他の顔画像の顔要素が存在しないか識別処理をしていく。各検出ウインドウでの探索結果は、探索処理データ記憶装置171cに格納する。
【0098】
次に、ステップS15において、各検出ウインドウで検出した6ポイント理論のオブジェクトに関し、大きさの異なる全スケールでの撮像された顔画像の全画素の探索が終了したか否かを判定する。ステップS15において、オブジェクト検出論理回路176が全スケールでの全画素の探索が終了していないと判定した場合は、ステップS13に戻り、全スケールでの探索を実行する。
【0099】
ステップS15において、オブジェクト検出論理回路176が全スケールでの全画素の探索が終了したと判定した場合は、探索結果を探索処理データ記憶装置171cに格納した後、ステップS16に進む。全スケールでの探索終了後、ステップS16において、画像データ分析部232の統合処理論理回路177が、探索処理データ記憶装置171cから各検出ウインドウでの探索結果を読み出し、大きさの異なる各スケールで検出した顔画像の顔要素の候補となるウインドウを統合処理する。
【0100】
顔画像の顔要素の候補となるウインドウを統合処理した結果は、
図9に示すような画像分析結果画像等として出力画像記憶装置171dに格納する。更に、ステップS16において、画像データ分析部232の検出結果出力処理論理回路178は、出力画像記憶装置171dから画像分析結果画像を読み出し、
図3に示した情報端末10aに電気信号を送信し、情報端末10aによって表示部13に画像分析結果の画像を出力させる。
図9に示すドットは検出されたノーズラインを示す分析結果の一例である。
【0101】
図7に示すフローチャートを用いて
図6のステップS13における顔要素の探索処理を機械学習の手法を用いる場合手順を説明する。ステップS13における顔要素の探索処理では、顔の全体輪郭、両目の形状、大きさ及び位置、両眉の形状、大きさ及び位置、鼻の形状、大きさ及び位置、口の形状、大きさ及び位置等が、6ポイント理論に必要な顔要素の特徴量として探索される。具体的には、目頭、目尻、及び黒目の位置等の6ポイント理論に必要な顔要素の特徴量がステップS13で探索される。先ず、ステップS21において、
図4に示したオブジェクト検出論理回路176の画像入力部176aは、特徴情報記憶装置171bに格納された顔要素の特徴量マップを読みだす。
【0102】
次に、ステップS22において、オブジェクト検出論理回路176の重み初期化部176bは、アダブーストの機械学習の分類に用いるすべてのサンプルの重みを初期化して均一化する。初期化された重みは、探索処理データ記憶装置171cをオブジェクト検出論理回路176のワークスペースとするように探索処理データ記憶装置171cに格納する。
【0103】
次に、ステップS23において、オブジェクト検出論理回路176の特徴量選択部176cは、探索処理データ記憶装置171cから6ポイント理論による正解画像と不正解画像の特徴量を読み出し、ランダムに6ポイント理論による正解画像と不正解画像から顔要素の特徴量を選択し、それぞれの特徴量の分類効率を算出する。算出した分類効率は、探索処理データ記憶装置171cに格納する。
図7のフローチャートで示されるような代表実施形態に係る機械学習の学習プロセスにおいては、6ポイント理論による正解画像/不正解画像判別に有用な特徴量が自動的に選択される。
【0104】
次に、ステップS24において、オブジェクト検出論理回路176の特徴量閾値選択部176dは、最も分類効率の高い特徴量と、そのときの閾値を、機械学習的に選択し、探索処理データ記憶装置171cをワークスペースとして、探索処理データ記憶装置171cに、選択された最も分類効率の高い顔要素の特徴量とそのときの閾値を格納する。
【0105】
次に、ステップS25において、オブジェクト検出論理回路176の重み更新部176eは、うまく識別できなかったサンプルの重み(ブースト重量)を増大させ、分類させるときに用いる重みを更新(ブースト)し、探索処理データ記憶装置171cに格納する。アダブーストの統計的機械学習では、このように誤分類率に応じて適応的に重みを増強するブースティングを、探索処理データ記憶装置171cをワークスペースとして繰り返す。
【0106】
増強決定木の作成は機械学習的に行われるが、ステップS26において、オブジェクト検出論理回路176の決定木数判定部176fは、予定の決定木の数分が生成されたかを、判定する。ステップS26で予定の決定木の数分が生成されたと判定された場合はステップS27に進む。ステップS26で予定の決定木の数分が生成されていないと判定された場合は、ステップS23に戻る。
【0107】
次に、ステップS27において、オブジェクト検出論理回路176のデータセット更新部176gは、識別処理が困難な不正解画像サンプルを、6ポイント理論に対する「識別困難画像サンプル」として抽出し、データセットを更新し、探索処理データ記憶装置171cに格納する。
【0108】
次に、ステップS28において、決定木数判定部176fは、予定の決定木の数分が生成されたか、又は分類エラーが閾値以下であるかを判定する。ステップS28で予定の決定木の数が生成された、又は分類エラーが閾値以下であると判定された場合は、顔要素の探索結果を探索処理データ記憶装置171cに格納した後、
図7に示すフローチャートの処理を終了する。
【0109】
図7のフローチャートの処理の結果、目頭、目尻、及び黒目の位置が6ポイント理論の特徴量として、機械学習により顔要素がオブジェクト検出される。両眉については、眉頭、眉山、及び眉尻の位置が6ポイント理論の特徴量としてオブジェクト検出される。また、鼻については、ノーズラインカーブ及び小鼻の位置が6ポイント理論の特徴量としてオブジェクト検出される。ステップS28で予定の決定木の数分が生成されていない、又は分類エラーが閾値以下ではないと判定された場合は、ステップS22に戻り、新たなデータセットを用いて、機械学習の分類に用いるすべてのサンプルの重みを初期化して均一化する。
図7に示すフローチャートの処理を終了すると、
図6のステップS13の機械学習が完了するので、
図6のステップS14の識別処理に進む。既に説明したとおり、ステップS14では、他の顔画像の顔要素の存在が確認され、ステップS15に進む。
【0110】
(その他の実施形態)
本発明は上記の代表実施形態によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替の実施形態、実施例及び運用技術が明らかとなろう。
【0111】
例えば、代表実施形態に係る自動的なデザイン方法では、
図5のステップS11においてカラー画像生成処理論理回路174が読み出した画像データから色情報含む画像データを取得し、ステップS12において、特徴抽出論理回路175が色情報を含む顔画像に対し特徴量マップを生成していた。そして、
図6のステップS13における顔要素の探索処理を、ステップS12で生成した顔要素の特徴量マップを用いる機械学習の手法を説明した。しかし、ニューラルネットワークを用い、ステップS12において顔要素の特徴量マップを生成する際の顔要素の特徴量を自動的に見つけ出す深層学習の手法を用いても構わない。例えば、ニューラルネットワークの隠れ層を複数にして、複数のニューラルネットワークのそれぞれに6ポイント理論に必要なデータの特徴を自律的に学習させれば、ステップS12において画像データ分析部232が自動的に顔要素の特徴量を抽出できるようになり、深層学習による処理が可能になる。
【0112】
尚、上記の代表実施形態及び他の実施形態で説明したそれぞれの技術的思想の一部を適宜、互いに組み合わせることも可能である。このように、本発明はここでは記載していない様々な実施形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当と解釈しうる、特許請求の範囲に係る発明特定事項によってのみ定められるものである。
【符号の説明】
【0113】
10a…第3情報端末(情報端末)、10b…第2情報端末、10c…第3情報端末、11…記憶部、12…処理部、13…表示部、14…撮像部、20…眉デザインサーバ、21…記憶部、21a…画像データ記憶部、21b…6ポイントデータ記憶部、21c…プログラム記憶部、22…通信部、23…処理部、30…ネットワーク、171a…カラー画像記憶装置、171b…特徴情報記憶装置、171c…探索処理データ記憶装置、171d…出力画像記憶装置、172,237…バス、173…画像取得論理回路、174…カラー画像生成処理論理回路、175…特徴抽出論理回路、176…オブジェクト検出論理回路、176a…画像入力部、176b…初期化部、176c…特徴量選択部、176d…特徴量閾値選択部、176e…重み更新部、176f…決定木数判定部、176g…データセット更新部、177…統合処理論理回路、178…検出結果出力処理論理回路、231…画像データ取得部、232…画像データ分析部、233…6ポイント抽出部、234…ライン生成部、235…眉デザイン生成部、236…眉デザイン表示部