特許 7361264 肌分析装置、肌分析方法、及び、コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-05

(45)【発行日】2023-10-16

(54)【発明の名称】肌分析装置、肌分析方法、及び、コンピュータプログラム

(51)【国際特許分類】

   A61B 5/107 20060101AFI20231006BHJP

   A61B 5/00 20060101ALI20231006BHJP

   G06T 7/00 20170101ALI20231006BHJP

【ＦＩ】

A61B5/107 800

A61B5/00 M

G06T7/00 660A

【請求項の数】 11

(21)【出願番号】P 2019106043

(22)【出願日】2019-06-06

(65)【公開番号】P2020075080

(43)【公開日】2020-05-21

【審査請求日】2022-05-12

(31)【優先権主張番号】P 2018208075

(32)【優先日】2018-11-05

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】松本 博志

(72)【発明者】

【氏名】田岡 宏毅

(72)【発明者】

【氏名】武井 一朗

(72)【発明者】

【氏名】西村 明夫

【審査官】▲高▼ 芳徳

(56)【参考文献】

【文献】特開２００９－０００４１０（ＪＰ，Ａ）

【文献】国際公開第２０１５／０１５７９３（ＷＯ，Ａ１）

【文献】特開２００４－３２１７９３（ＪＰ，Ａ）

【文献】特開２０１４－１１５８２１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／００

Ａ６１Ｂ ５／０６ － ５／２２

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

カメラが撮影したユーザの顔画像から顔部位を認識する顔部位認識部と、
前記顔部位を示す顔部位マークを前記顔画像に配置したＵＩ（User Interface）をディスプレイに表示させ、前記顔部位マークに対する操作を受け付けるＵＩ部と、
前記操作された顔部位マークの位置に基づいて、前記顔画像に対して肌分析領域を設定する分析領域設定部と、
前記設定された肌分析領域に対して肌分析を実行する肌分析実行部と、
を備え、
前記ＵＩ部は、
前記ディスプレイに表示された前記顔部位マークに対する修正を受け付ける画面として、修正対象を顔全体または顔部位別のいずれとするかの選択操作を受付ける画面を表示し、
顔全体が選択された場合、全ての顔部位マークの一括修正を受付け、
顔部位別が選択された場合、選択された個々の顔部位マークの修正を受付ける、
肌分析装置。

【請求項2】

前記ＵＩ部は、前記顔部位認識部が前記顔部位の認識に成功したと判定した場合、前記認識された顔部位の位置に前記顔部位マークを配置する、
請求項１に記載の肌分析装置。

【請求項3】

前記ＵＩ部は、
前記顔部位認識部が前記顔部位の認識に成功したと判定した場合、前記認識された顔部位の位置に前記顔部位マークを配置し、
前記顔部位認識部が前記顔部位の認識に失敗したと判定した場合、前記顔部位の認識とは無関係の予め決められた位置に前記顔部位マークを配置する、
請求項１に記載の肌分析装置。

【請求項4】

前記ＵＩ部は、前記顔部位認識部が前記顔部位の認識に失敗したと判定した場合、前記ユーザを撮影した過去の顔画像において認識に成功したときの前記顔部位マークを、前記顔画像に配置する、
請求項１に記載の肌分析装置。

【請求項5】

前記ＵＩ部は、前記顔部位認識部が前記顔部位の認識に失敗したと判定した場合、前記ユーザを撮影した過去の顔画像に対して前記操作によって配置された前記顔部位マークを、前記顔画像に配置する、
請求項１に記載の肌分析装置。

【請求項6】

前記ＵＩ部は、前記顔部位認識部が前記顔部位の認識に失敗したと判定した場合、前記ユーザから顔画像上の目の位置の操作入力を受付け、他の顔部位マークは予め登録された設定に従って自動的に、前記受付けた目の位置に対して相対的な位置に配置する、
請求項１に記載の肌分析装置。

【請求項7】

前記顔画像及び前記過去の顔画像は、それぞれ、前記ユーザを撮影した正面の顔画像、左横顔の顔画像、及び、右横顔の顔画像のうちの何れかである、
請求項４又は５に記載の肌分析装置。

【請求項8】

前記顔部位認識部は、前記正面の顔画像と、前記左横顔の顔画像と、前記右横顔の顔画像との間における顔のサイズが所定以上異なっている場合、前記顔部位の認識に失敗したと判定する、
請求項７に記載の肌分析装置。

【請求項9】

前記顔部位は、顔の輪郭、目、鼻、口、眉、及び、髪の生え際のうちの少なくとも１つの部位であり、
前記顔部位マークは、前記顔部位の形状に対応する形状を有する、
請求項１に記載の肌分析装置。

【請求項10】

肌分析装置が、
カメラが撮影したユーザの顔画像から顔部位を認識し、
前記顔部位を示す顔部位マークを前記顔画像に配置したＵＩをディスプレイに表示させ、
前記ディスプレイに表示された前記顔部位マークに対する修正を受け付ける画面として、修正対象を顔全体または顔部位別のいずれとするかを選択する操作を受付ける画面を表示し、
顔全体が選択された場合、全ての顔部位マークの一括修正を受付け、
顔部位別が選択された場合、選択された個々の顔部位マークの修正を受付け、
前記操作された顔部位マークの位置に基づいて、前記顔画像に対して肌分析領域を設定し、
前記設定された肌分析領域に対して肌分析を実行する、
肌分析方法。

【請求項11】

カメラが撮影したユーザの顔画像から顔部位を認識し、
前記顔部位を示す顔部位マークを前記顔画像に配置したＵＩをディスプレイに表示させ、
前記ディスプレイに表示された前記顔部位マークに対する修正を受け付ける画面として、修正対象を顔全体または顔部位別のいずれとするかを選択する操作を受付ける画面を表示し、
顔全体が選択された場合、全ての顔部位マークの一括修正を受付け、
顔部位別が選択された場合、選択された個々の顔部位マークの修正を受付け、
前記操作された顔部位マークの位置に基づいて、前記顔画像に対して肌分析領域を設定し、
前記設定された肌分析領域に対して肌分析を実行する、
ことをコンピュータに実行させる、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、肌分析装置、肌分析方法、及び、コンピュータプログラムに関する。

【背景技術】

【0002】

従来、ユーザの顔を撮影した顔画像に基づき、顔の肌の状態を分析し、分析結果を可視化及び定量化することが行われている。特許文献１には、顔画像から顔部位の位置を自動的に認識し、その認識した顔部位の位置に基づいて、肌の分析対象の領域（以下「肌分析領域」という）を自動的に設定する装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１５／０１５７９３号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１のように、顔画像から、目、鼻及び口などの顔部位の位置を自動的に認識する場合、その認識結果が正しくない場合もある。このような場合に、特許文献１の装置は、顔部位の認識結果を容易に修正することができない。

【0005】

本開示の非限定的な実施例は、顔画像に対する顔部位の認識を容易に修正できる肌分析装置、肌分析方法、及び、コンピュータプログラムを提供することに資する。

【課題を解決するための手段】

【0006】

本開示の一態様に係る肌分析装置は、カメラが撮影したユーザの顔画像から顔部位を認識する顔部位認識部と、前記顔部位を示す顔部位マークを前記顔画像に配置したＵＩ（User Interface）をディスプレイに表示させ、前記顔部位マークに対する操作を受け付けるＵＩ部と、前記操作された顔部位マークの位置に基づいて、前記顔画像に対して肌分析領域を設定する分析領域設定部と、前記設定された肌分析領域に対して肌分析を実行する肌分析実行部と、を備える。

【0007】

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0008】

本開示の一態様によれば、顔画像に対する顔部位の認識を容易に修正できる。

【0009】

本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

【図面の簡単な説明】

【0010】

【図1】一実施の形態に係る肌分析装置の利用例を示す図である。

【図2】一実施の形態に係る肌分析装置の動作概要を示すフローチャートである。

【図3】一実施の形態に係る肌分析装置の構成例を示す図である。

【図4】一実施の形態に係る肌分析装置によって撮影された正面顔の顔画像の例を示す図である。

【図5】一実施の形態に係る肌分析装置によって撮影された右横顔の顔画像の例を示す図である。

【図6】一実施の形態に係る肌分析装置によって撮影された左横顔の顔画像の例を示す図である。

【図7】一実施の形態に係る顔部位認識部の処理例を示すフローチャートである。

【図8】一実施の形態に係る正面顔の認識結果確認用ＵＩの例を示す図である。

【図9】一実施の形態に係る左横顔の認識結果確認用ＵＩの例を示す図である。

【図10】一実施の形態に係る右横顔の認識結果確認用ＵＩの例を示す図である。

【図11】一実施の形態に係る顔部位マークの修正用ＵＩの第１の例を示す図である。

【図12】一実施の形態に係る顔部位マークの修正用ＵＩの第２の例を示す図である。

【図13】一実施の形態に係る顔部位マークの設定用ＵＩの例を示す図である。

【図14】一実施の形態に係る顔部位マークの形状を顔部位の形状に変形する例を示す図である。

【図15】一実施の形態に係る顔部位マークの変形パターンの例を示す図である。

【図16】一実施の形態に係る顔部位マークを用いて顔部位の特徴点を設定する例を示す図である。

【図17】一実施の形態に係る肌分析領域の確認画面の例を示す図である。

【図18】本開示に係る本開示の実施の形態に係るハードウェア構成の例を示す図である。

【発明を実施するための形態】

【0011】

以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

【0012】

（一実施の形態）
＜肌分析装置の概要＞
図１は、肌分析装置の利用例を示す。図２のフローチャートは、肌分析装置の動作概要の一例を示す。次に、図１及び図２を参照して、肌分析装置の概要について説明する。

【0013】

ユーザ２は、図１に示すように、肌分析装置１０の前に座り、肌分析装置１０に対して肌分析の開始を指示する。肌分析装置１０は、この開始の指示を受けて、次の動作を開始する。

【0014】

肌分析装置１０は、カメラ１０１からユーザ２の顔を撮影する（Ｓ１１）。以下、カメラ１０１によって撮影されたユーザ２の顔の画像を「顔画像」と表現する。

【0015】

肌分析装置１０は、Ｓ１１にて撮影した顔画像から、顔部位を認識する（Ｓ１２）。顔部位とは、例えば、顔の輪郭、目、鼻、口、眉、及び、髪の毛の生え際など、顔において特徴的な部分である。なお、顔部位は、顔パーツ、顔器官、又は顔特徴部分などと表現されてもよい。

【0016】

肌分析装置１０は、Ｓ１２にて認識した顔部位の位置などに基づいて、顔画像に、肌分析を行う領域（以下「肌分析領域」という）を設定する（Ｓ１３）。

【0017】

肌分析装置１０は、Ｓ１３にて設定した各肌分析領域に対して、肌分析を実行する（Ｓ１４）。

【0018】

肌分析装置１０は、Ｓ１４にて実行した肌分析の結果を、ディスプレイ１０２に表示する（Ｓ１５）。

【0019】

上述のとおり、ユーザ２は、肌分析装置１０を利用することにより、簡単に肌分析を受けることができる。以下、詳細に説明する。

【0020】

＜肌分析装置の構成＞
次に、図３を参照して、肌分析装置１０の構成を説明する。

【0021】

肌分析装置１０は、例えば、カメラ１０１、ディスプレイ１０２、入力Ｉ／Ｆ１０３、記憶部１０４、及び、制御部１０５を備える。また、肌分析装置１０は、データベース２０に接続してよい。

【0022】

カメラ１０１は、ユーザ２の顔を撮影する。なお、図１では、カメラ１０１が肌分析装置１０に内蔵されているが、カメラ１０１は肌分析装置１０とは別の装置であってもよい。この場合、カメラ１０１は、所定の有線通信又は無線通信を通じて、撮影した顔画像を肌分析装置１０へ送信する。

【0023】

ディスプレイ１０２は、画像及び情報などを表示する。なお、図１では、ディスプレイ１０２が肌分析装置１０に内蔵されているが、ディスプレイ１０２は肌分析装置１０とは別の装置であってもよい。この場合、肌分析装置１０は、表示用のデータを、所定の有線通信又は無線通信を通じて、ディスプレイ１０２へ送信する。

【0024】

入力Ｉ／Ｆ１０３は、ユーザ２からの指示を受け付ける。なお、肌分析装置１０は、複数の入力Ｉ／Ｆ１０３を備えてもよい。例えば、肌分析装置１０は、入力Ｉ／Ｆ１０３として、タッチパネル、マウス、キーボード、撮影指示用のボタン、及び音声入力用のマイクなどを備えてもよい。また、入力Ｉ／Ｆ１０３は、肌分析装置１０とは別の装置であってもよい。この場合、入力Ｉ／Ｆ１０３は、入力されたデータを、所定の有線通信又は無線通信を通じて、肌分析装置１０へ送信する。

【0025】

記憶部１０４は、制御部１０５に使用されるデータを記憶する。記憶部１０４は、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性メモリであってもよいし、ＳＳＤ（Solid State Drive）などの不揮発性メモリであってもよい。或いは、記憶部１０４は、
これらの組み合わせであってもよい。

【0026】

制御部１０５は、例えばＣＰＵ（Central Processing Unit）であり、肌分析装置１０
が有する機能を実現する。例えば、制御部１０５は、記憶部１０４に記憶されたコンピュータプログラムを実行することにより、後述する、撮影処理部２０１、顔部位認識部２０２、顔部位マークＵＩ部２０３、分析領域設定部２０４及び肌分析実行部２０５に係る機能を実現する。

【0027】

撮影処理部２０１は、カメラ１０１を制御してユーザ２の顔を撮影し、顔画像を生成する。なお、撮影処理部２０１は、カメラ１０１で撮影中の顔画像をリアルタイムにディスプレイ１０２に表示してもよい。これにより、ユーザ２は、ディスプレイ１０２を見ながら、自分の顔が正しく撮影されるように、顔の位置及び向きなどを調整することができる。

【0028】

また、撮影処理部２０１は、ユーザ２の正面顔、左横顔、及び右横顔を撮影してよい。左横顔及び右横顔が適切に撮影されるように、肌分析装置１０には、図１に示すように、ユーザ２から向かってカメラ１０１よりも左側に鏡１１ａが備えられ、ユーザ２から向かってカメラ１０１よりも右側に鏡１１ｂが備えられてよい。左側の鏡１１ａの向き（角度）は、ユーザ２がその左側の鏡１１ａに正面顔が映るように顔を向けたときに、カメラ１０１がユーザ２の適切な右横顔を撮影できる向き（角度）であってよい。右側の鏡１１ｂの向き（角度）は、ユーザ２がその右側の鏡１１ｂに正面顔が映るように顔を向けたときに、カメラ１０１がユーザ２の適切な左横顔を撮影できる向き（角度）であってよい。

【0029】

また、撮影処理部２０１は、撮影に際し、ユーザ２に対して正面を向くように指示し、カメラ１０１から正面顔を撮影してよい。図４は、ユーザ２の正面顔を撮影した顔画像２５０ａの一例である。次に、撮影処理部２０１は、ユーザ２に対して左側の鏡１１ａに正面顔が映るように顔を向けるよう指示し、カメラ１０１から右横顔を撮影してよい。図５は、ユーザ２の右横顔を撮影した顔画像２５０ｂの一例である。最後に、撮影処理部２０１は、ユーザ２に対して右側の鏡１１ｂに正面顔が映るように顔を向けるようを指示し、カメラ１０１から左横顔を撮影してよい。図６は、ユーザ２の左横顔を撮影した顔画像２５０ｃの一例である。以下、正面顔、左横顔及び右横顔を区別しない場合は、顔画像２５０と表現する。

【0030】

顔部位認識部２０２は、例えば、次の処理によって顔部位を認識する。すなわち、顔部位認識部２０２は、まず、公知の画像処理技術を用いて、顔画像２５０から特徴点を抽出する。次に、顔部位認識部２０２は、その抽出した特徴点から、顔の輪郭、目、鼻、口、眉、及び髪の毛の生え際などの顔部位を認識する。

【0031】

しかし、特徴点の抽出精度が低い場合など、顔部位認識部２０２が、顔部位の認識に失敗する場合がある。また、顔部位認識部２０２が顔部位の認識に成功したと判定しても、実際には顔部位の位置などが正しく認識されていない場合がある。本実施の形態に係る肌分析装置１０は、このような場合において、顔部位の認識を効率的に修正することができる。

【0032】

顔部位マークＵＩ部２０３は、顔部位マークを顔画像に配置した顔部位マークのＵＩをディスプレイに表示させ、顔部位マークに対する操作を受け付ける。顔部位マークとは、後述の図８等に示すように、各顔部位を示すマーク（イラスト）である。例えば、顔部位「目」を示す顔部位マークは、目のマーク（イラスト）であり、顔部位「口」を示す顔部位マーク３０１は、口のマーク（イラスト）である。

【0033】

なお、顔部位マークＵＩ部２０３は、顔部位認識部２０２が顔部位の認識に成功したと判断した場合、その認識された顔部位の位置に、当該顔部位を示す顔部位マークを配置してよい。

【0034】

また、顔部位マークＵＩ部２０３は、顔部位認識部２０２が顔部位の認識に失敗したと判定した場合、所定の位置に顔部位マークを配置してもよい。或いは、顔部位マークＵＩ部２０３は、顔部位認識部２０２が顔部位の認識に失敗したと判定した場合、ユーザ２の他の顔画像（例えば過去の顔画像）において認識に成功したときの顔部位マークを、顔画像に配置してもよい。或いは、顔部位マークＵＩ部２０３は、顔部位認識部２０２が顔部位の認識に失敗したと判定した場合、ユーザ２の他の顔画像（例えば過去の顔画像）に対して操作によっては位置された顔部位マークを、顔画像に配置してもよい。なお、顔部位マークＵＩ部２０３の詳細については後述する。

【0035】

分析領域設定部２０４は、顔部位マークＵＩ部２０３によって配置された顔部位マークの位置に基づいて、顔画像に少なくとも１つの肌分析領域を設定する。なお、分析領域設定部２０４は、顔部位認識部２０２によって認識された各顔部位の位置に基づいて、顔画像に肌分析領域を設定してもよい。なお、分析領域設定部２０４の詳細については後述する。

【0036】

肌分析実行部２０５は、分析領域設定部２０４によって顔画像に設定された各肌分析領域に対して、肌分析を実行する。例えば、肌分析実行部２０５は、顔画像における肌分析領域内に対して公知の画像処理を適用して、皺、シミ、及び／又は、毛穴などの量を分析する。

【0037】

データベース２０は、各ユーザ２の顔画像と、当該顔画像の肌分析結果とを対応付けて管理する。なお、図３において、データベース２０は、肌分析装置１０とは別の装置であるが、データベース２０は、肌分析装置１０に内蔵されてもよい。

【0038】

＜顔部位マークＵＩ部の詳細＞
次に、図７に示すフローチャートを参照して、顔部位マークＵＩ部２０３の詳細について説明する。なお、正面顔、左横顔及び右横顔の３つの顔画像２５０ａ、２５０ｂ、２５０ｃを撮影する場合、顔部位認識部２０２は、顔画像２５０ａ、２５０ｂ、２５０ｃのそれぞれについて、当該フローチャートを実行してよい。

【0039】

顔部位認識部２０２は、公知の画像処理技術を用いて、顔画像２５０ら、顔部位を認識する（Ｓ１０１）。そして、顔部位認識部２０２は、顔部位の認識に成功したか否かを判定する（Ｓ１０２）。例えば、顔部位認識部２０２は、顔の輪郭、目、鼻、口、眉、及び、髪の毛の生え際などの全ての顔部位を認識できた場合、認識成功と判定する。或いは、顔部位認識部２０２は、これらのうち、少なくとも１つの顔部位を認識できた場合、認識成功と判定してもよい。或いは、顔部位認識部２０２は、正面顔の顔画像２５０ａと、右横顔の顔画像２５０ｂと、左横顔の顔画像２５０ｃとを比較し、少なくとも２つにおいて顔のサイズが所定以上異なっている場合、認識失敗と判定してもよい。

【0040】

Ｓ１０１において顔部位認識部２０２が顔部位の認識失敗と判定した場合（Ｓ１０２：ＮＯ）、顔部位マークＵＩ部２０３は、デフォルトの位置に顔部位マークを配置した顔部位マークのＵＩ５００（図１３参照）をディスプレイ１０２に表示し、ユーザ２からの操作を受け付ける（Ｓ１０３）。ユーザ２は、顔部位マークのＵＩ５００をマニュアル（手動）操作して、顔画像の各顔部位の正しい位置に、その顔部位を示す顔部位マーク３０１（図８参照）を配置する（Ｓ１０４）。

【0041】

顔部位マークＵＩ部２０３は、ユーザ２からの完了指示を受領すると、ユーザ２が再配置した顔部位マーク３０１の位置を確定する（Ｓ１０５）。そして、本フローは終了する。

【0042】

Ｓ１０１において顔部位認識部２０２が顔部位の認識成功と判定した場合（Ｓ１０２：ＹＥＳ）、顔部位マークＵＩ部２０３は、顔部位認識部２０２が認識した位置に顔部位マーク３０１を配置した顔部位マークのＵＩ３００（図８、図９及び図１０参照）を、ディスプレイ１０２に表示し（Ｓ１０６）、ユーザ２からの操作を受け付ける。

【0043】

ユーザ２は、顔部位マークのＵＩ３００を見て、顔画像の各顔部位の位置に、その顔部位を示す顔部位マーク３０１が正しく配置されているか否かを判断する（Ｓ１０７）。

【0044】

ユーザ２が顔部位マーク３０１が正しく配置されていると判断した場合（Ｓ１０７：ＹＥＳ）、顔部位マークＵＩ部２０３は、その配置されている顔部位マーク３０１の位置を確定する（Ｓ１０８）。そして、本フローは終了する。

【0045】

ユーザ２が顔部位マーク３０１が正しく配置されていないと判断した場合（Ｓ１０７：ＮＯ）、顔部位マークＵＩ部２０３は、顔部位認識部２０２が認識した位置に顔部位マーク３０１を配置した顔部位マークのＵＩ４００（図１１及び図１２参照）を、ディスプレイ１０２に表示し、ユーザ２からの操作を受け付ける（Ｓ１０９）。ユーザ２は、顔部位マークのＵＩ４００をマニュアル（手動）操作して、顔画像の各顔部位の正しい位置に、その顔部位を示す顔部位マーク３０１を再配置（修正）する（Ｓ１１０）。

【0046】

顔部位マークＵＩ部２０３は、ユーザ２からの完了指示を受領すると、ユーザ２が再配置した顔部位マーク３０１の位置を確定する（Ｓ１１１）。そして、本フローは終了する。

【0047】

＜顔部位マークのＵＩの例＞
図８、図９及び図１０は、図７のＳ１０６にて表示される顔部位マークのＵＩ３００の一例である。なお、図８、図９及び図１０は、顔部位の認識に成功し、かつ、顔部位マーク３０１が正しく配置されている例である。また、図８は、正面顔の顔部位マークのＵＩ３００の例であり、図９は、右横顔の顔部位マークのＵＩ３００の例であり、図１０は、左横顔の顔部位マークのＵＩ３００の例である。

【0048】

図８、図９及び図１０に示すように、顔部位の認識に成功した場合、顔部位マークＵＩ部２０３は、顔画像の認識した顔部位の位置に、その顔部位を示す顔部位マーク３０１を配置した顔部位マークのＵＩ３００を生成し、ディスプレイ１０２に表示する。

【0049】

図８、図９及び図１０では、目の顔部位マーク３０１ａが、顔画像の目の位置に正しく配置されている。また、鼻の顔部位マーク３０１ｂが、顔画像の鼻の位置に正しく配置されている。また、口の顔部位マーク３０１ｃが、顔画像の口の位置に正しく配置されている。また、眉の顔部位マーク３０１ｄが、顔画像の眉の位置に正しく配置されている。顔輪郭の顔部位マーク３０１ｅが、顔画像の顎から耳にかけての輪郭の位置に正しく配置されている。また、髪の生え際の顔部位マーク３０１ｆが、顔画像の髪の生え際の位置に正しく配置されている。

【0050】

ユーザ２は、全ての顔部位マーク３０１が、顔画像の顔部位に正しく配置されている場合、ＯＫボタン３１１を押下する。この場合、図７のＳ１０７の判定結果が「ＹＥＳ」となる。

【0051】

ユーザ２は、少なくとも１つの顔部位マーク３０１が、顔画像の顔部位に正しく配置されていない場合、要調整ボタン３１２を押下する。この場合、図７のＳ１０７の判定結果が「ＮＯ」となり、図７のＳ１０９において、顔部位マークのＵＩ４００が表示される。なお、ユーザ２は、図８、図９及び図１０に示す顔画像のそれぞれについて、ＯＫボタン３１１又は要調整ボタン３１２を選択できてよい。この場合、顔部位マークＵＩ部２０３は、要調整ボタン３１２を押下された顔画像についてのみ、顔部位マークのＵＩ４００を表示してよい。

【0052】

また、ユーザ２が、図８、図９及び図１０に示す再撮影ボタン３１３を押下した場合、図７に示すフローはＳ１０７からＳ１０１へ戻り、顔の再撮影が行われてよい（図７には図示せず）。この場合、撮影処理部２０１は、再撮影ボタン３１３を押下された顔画像に対応する顔の向きについてのみ、再撮影を行ってもよい。

【0053】

図１１及び図１２は、それぞれ、図７のＳ１０９にて表示される顔部位マークのＵＩ４００の一例である。上述のとおり、顔部位マークのＵＩ４００は、顔部位の認識に成功したものの、顔部位マークの修正が必要な場合に用いられる。

【0054】

顔部位マークのＵＩ４００は、全ての顔部位マーク３０１をまとめて修正するための顔全体ボタン４０１と、顔部位マーク３０１を個別に修正するための部位別ボタン４０２とを有する。また、顔部位マークのＵＩ４００には、図８～図１０と同様、顔部位認識部２０２が認識（誤認識）した顔部位の位置に、その顔部位を示す顔部位マーク３０１が配置されている。

【0055】

図１１に示すように、顔部位マーク３０１の位置及び／又は大きさが全体的にずれているような場合、ユーザ２は、顔全体ボタン４０１を押下するとよい。顔全体ボタン４０１が押下されると、顔部位マークのＵＩ４００では、破線４２０のように、全ての顔部位マーク３０１が選択された状態となる。これにより、ユーザ２は、全ての顔部位マーク３０１を一度に修正できる。この修正には、移動、回転、拡大、縮小、及び、縦横アスペクト比の変更のうちの少なくとも１つが含まれてよい。

【0056】

図１２に示すように、個々の顔部位マーク３０１の位置及び／又は大きさがずれているような場合、ユーザ２は、部位別ボタン４０２を押下するとよい。部位別ボタン４０２が押下されると、顔部位マークのＵＩ４００では、各顔部位マーク３０１を選択可能な状態となる。ユーザ２は、破線４３０に示すように、修正したい顔部位マーク３０１を選択し、その選択した顔部位マーク３０１を修正できる。この修正には、移動、回転、拡大、縮小、及び、縦横アスペクト比の変更のうちの少なくとも１つが含まれてよい。

【0057】

例えば、図１２の場合、目の顔部位マーク３０１ａの大きさが顔画像の目の大きさよりも小さいので、ユーザ２は、目の顔部位マーク３０１ａを選択し、顔画像の目の大きさに合うように、目の顔部位マーク３０１ａを拡大してよい。また、眉の顔部位マーク３０１ｄの角度が顔画像の眉の角度よりも急なので、ユーザ２は、眉の顔部位マーク３０１ｄを選択し、顔画像の眉の角度に合うように、眉の顔部位マーク３０１ｄを回転してよい。また、鼻の顔部位マーク３０１ｂの縦の長さが顔画像の鼻の長さよりも短いので、ユーザ２は、鼻の顔部位マーク３０１ｂを選択し、顔画像上の鼻の縦の長さに合うように、鼻の顔部位マーク３０１ｂのアスペクト比を変更してよい。

【0058】

また、顔部位マークＵＩ部２０３は、顔部位マークの位置と、その顔部位マークに対応する顔部位の位置とが所定距離未満になると、その顔部位マーク３０１を、その顔部位の位置に自動的にスナップさせてもよい。この場合、顔部位マークＵＩ部２０３は、顔部位マーク３０１の近傍の顔画像に対して部分的なパターンマッチングを行って、その顔部位マークに対応する顔部位を認識（つまり再認識）し、その認識した顔部位の位置へ顔部位マークをスナップさせてよい。これにより、ユーザ２が顔部位マークを微調整する手間が省けるので、顔部位マーク３０１の修正作業の効率が向上する。

【0059】

なお、顔部位マークＵＩ部２０３は、位置関係において関連性の高い顔の構成パーツに対応する顔部位マーク３０１同士を、１つのグループにまとめてもよい。位置関係において関連性の高い顔の構成パーツとは、例えば、目と眉、又は、鼻と口のように、位置する距離が比較的近い顔の構成パーツ、或いは、筋肉又は骨格によって互いに連動している顔の構成パーツである。顔部位マークＵＩ部２０３は、グループの単位でまとめて顔部位マーク３０１を移動させてもよい。グループで移動させる場合、或いは、グループの単位ではなく、１つの顔部位マーク３０１を移動させる場合における顔部位マークのＵＩには、顔全体ボタン４０１、部位別ボタン４０２と同様のボタンが別途配置されてもよい。また、キーボード及び／又はマウスなどの操作デバイスのボタン等には、特定の機能が割り当られてもよい。

【0060】

図１３は、図７のＳ１０３にて表示される顔部位マークのＵＩ５００の一例である。上述のとおり、顔部位マークのＵＩ５００は、顔部位の認識に失敗した場合に用いられる。

【0061】

顔部位マークのＵＩ５００は、図１１及び図１２と同様、顔全体ボタン４０１と、部位別ボタン４０２とを有する。なお、顔部位認識部２０２が顔部位の認識に失敗しており、顔部位の位置が不明なので、顔部位マーク３０１のＵＩ５００では、デフォルト（予め登録済み）の位置に、デフォルトの形状の顔部位マーク３０１が配置されてよい。

【0062】

ユーザ２は、図１１又は図１２の場合と同様、顔部位マークのＵＩ５００を操作して、顔部位マーク３０１を、その顔部位マークに対応する顔部位の位置に再配置（修正）する。

【0063】

顔検出に失敗した場合において、顔部位マーク３０１を配置する際、顔部位マークのＵＩ５００は、顔画像上の目の位置をユーザーに指定してもらい、他の顔部位マーク３０１を、デフォルト設定に従って自動的に、その指定された目の位置に対して相対的な位置に配置してもよい。なぜなら、顔のパーツ配置において、最も特徴的なパーツは目であるからである。

【0064】

なお、顔部位の認識に失敗した場合における顔部位マーク３０１の修正の手順は、予め定められてよい。例えば、次の（Ａ１）から（Ａ３）の何れかのように、予め修正の手順が定められてよい。

【0065】

（Ａ１）顔部位マークＵＩ部２０３は、顔部位マークのＵＩ５００において、まず、顔全体に対する顔部位マーク３０１を修正するためのＵＩを表示し（例えば図１１）、次に、顔部位別に顔部位マーク３０１を修正するためのＵＩを表示する（例えば図１２）。当該Ａ１によれば、ユーザ２が迷うことなく顔部位マーク３０１を修正できるので、顔部位マーク３０１の修正作業の効率が向上する。

【0066】

（Ａ２）顔部位マークＵＩ部２０３は、同一ユーザ２について過去に認識に成功した顔部位マーク３０１がデータベース２０に存在する場合、その顔部位マーク３０１をデフォルトの顔部位マーク３０１として使用する。同一ユーザ２の過去の顔部位マーク３０１の方が、デフォルトの顔部位マーク３０１よりも、そのユーザ２に類似している可能性が高い。したがって、当該Ａ２によれば、顔部位マークの修正の手間を軽減できる。

【0067】

（Ａ３）顔部位マークＵＩ部２０３は、複数回撮影された同一ユーザ２の顔画像を用いて、顔部位マーク３０１を類推する。例えば、左横顔において顔部位の認識に成功し、右横顔において顔部位の認識に失敗した場合、顔部位マークＵＩ部２０３は、認識に成功した左横顔に対応する顔部位マーク（例えば図９）３０１を左右反転させたものを、認識に失敗した右横顔におけるデフォルトの顔部位マーク３０１に使用する。同一ユーザ２の顔画像から類推した顔部位マーク３０１の方が、デフォルトの顔部位マーク３０１よりもそのユーザ２に類似している可能性が高い。したがって、当該Ａ３によれば、顔部位マークの修正の手間を軽減できる。

【0068】

次に、図１４～図１６を参照して、顔画像の特徴点と顔部位マーク３０１との関係について説明する。

【0069】

上述のとおり、顔部位認識部２０２は、顔画像から顔部位６０１の特徴点６１０を抽出する。また、顔部位マーク６０２は、図１４に示すように、顔部位６０１に対応する形状を構成する点（以下「構成点」という）６２０を有する。

【0070】

顔部位マークＵＩ部２０３は、顔部位認識部２０２が顔部位６０１の認識に成功した場合、デフォルトの顔部位マーク６０２の形状を、その認識に成功した顔部位６０１の形状に変形させてよい。なお、形状の変形とは、デフォルトの顔部位マーク６０２の複数の構成点６２０の相対位置を、認識した顔部位６０１の複数の特徴点６１０の相対位置と適合するように変形することであってよい。

【0071】

例えば、図１４に示すように、顔部位マークＵＩ部２０３は、顔画像の目の部分から抽出した特徴点６１０の相対位置に適合するように、目の顔部位マーク６０２の構成点６２０の相対位置を変形する。この変形には、図１５（ａ）～（ｅ）に例示するように、拡大、縮小、回転、及び、アスペクト比変更の少なくとも１つが含まれてよい。これにより、ユーザ２の顔部位６０１に適した顔部位マーク６２０を生成できるので、顔部位マーク６２０の修正の手間を軽減できる。

【0072】

また、認識された顔部位６０１の特徴点６１０と、その顔部位６０１に対応する顔部位マーク６２０の構成点６２０とは対応付けられてよい。この場合、顔部位マークの修正用ＵＩ４００において、顔部位マーク６０２が修正されると、顔部位マークＵＩ部２０３は、その顔部位マーク６０２の構成点６２０に対応付けられている特徴点６１０を修正してよい。すなわち、顔部位マークのＵＩ４００は、認識された顔部位６０１の特徴点６１０を容易に修正することができるＵＩともいえる。

【0073】

また、顔部位マークのＵＩ５００において、顔部位マーク６０２が配置されると、顔部位マークＵＩ部２０３は、その配置された顔部位マーク６０２の構成点６２０を、その顔部位マーク６０２に対応する顔部位６０１の特徴点６１０として顔画像に設定してよい。

【0074】

例えば、まず、図１６（ａ）、（ｂ）に示すように、ユーザ２が、顔部位マークのＵＩ５００において、顔部位「目」６０１に適合するように目の顔部位マーク６０２を変形させて、顔部位「目」６０１の位置に配置する。次に、図１６（ｃ）に示すように、顔部位マークＵＩ２０３は、配置された顔部位マーク６０１の構成点６２０を、顔部位「目」６０１の特徴点６１０として顔画像に設定する。

【0075】

これにより、顔部位の認識に失敗した場合であっても、容易に顔部位６０１の特徴点６１０を設定できる。すなわち、顔部位マークのＵＩ５００は、顔部位６０１の特徴点６１０を容易に設定できるＵＩともいえる。

【0076】

＜分析領域設定部の詳細＞
図１７は、肌分析領域のＵＩ７００の一例を示す。次に、図１７を参照して、肌分析領域部２０４について詳細に説明する。

【0077】

分析領域設定部２０４は、各顔部位マーク３０１の位置に基づいて、顔画像に対して肌分析領域を設定する。或いは、分析領域設定部２０４は、顔部位の特徴点に基づいて、顔画像に対して肌分析領域を設定してもよい。なお、この顔部位の特徴点は、顔部位マークのＵＩ４００によって修正されたものであってよい。

【0078】

分析領域設定部２０４は、図１７に例示するように、髪の生え際の顔部位マーク３０１ｆと、眉の顔部位マーク３０１ｄとの間を、額の肌分析領域７０１ａに設定してよい。また、分析領域設定部２０４は、目の顔部位マーク３０１ａの下の所定領域を、目周りの肌分析領域７０１ｂに設定してよい。また、分析領域設定部２０４は、鼻の顔部位マーク３０１ｂの重畳領域を、鼻の肌分析領域７０１ｃに設定してよい。また、分析領域設定部２０４は、口の顔部位マーク３０１ｃの左右の所定領域を、口周りの肌分析領域７０１ｄに設定してよい。また、分析領域設定部２０４は、顔の輪郭線の顔部位マーク３０１ｅと、目の顔部位マーク３０１ａと、鼻の顔部位マーク３０１ｂと、口の顔部位マーク３０１ｃとに囲まれた所定領域を、頬の肌分析領域７０１ｅに設定してよい。

【0079】

なお、顔部位マークＵＩ部２０３は、図１７に示すように、分析領域設定部２０４によって設定された肌分析領域と、顔画像及び顔部位マークとを含む肌分析領域のＵＩ７００を生成し、ディスプレイ１０２に表示してよい。これにより、ユーザ２は、肌分析領域が正しく設定されているか否かを判断できる。

【0080】

また、顔部位マークＵＩ部２０３は、顔部位マークのＵＩ４００に、分析領域設定部２０４によって設定された肌分析領域を合わせて表示してもよい。この場合、分析領域設定部２０４は、顔部位マークの修正に応じて、リアルタイムに肌分析領域を再設定してよい。そして、顔部位マークＵＩ部２０３は、その再設定された肌分析領域をリアルタイムに顔部位マークのＵＩ４００に表示してもよい。これにより、ユーザ２は、肌分析領域が正しく設定されるように、顔部位マークを修正できる。

【0081】

また、肌分析実行部２０５は、上述のように設定された各肌分析領域に対して、公知の画像処理技術を適用し、肌分析を実行してよい。肌分析実行部２０５は、異なる肌分析領域に対して、異なる肌分析を実行してよい。例えば、肌分析実行部２０５は、額の肌分析領域７０１ａ、目周りの肌分析領域７０１ｂ、及び、口周りの肌分析領域７０１ｄに対して、皺の量を分析してよい。また、肌分析実行部２０５は、鼻の肌分析領域７０１ｃに対して、毛穴の量を分析してよい。また、肌分析実行部２０５は、頬の肌分析領域７０１ｅに対して、シミ及び毛穴の量を分析してよい。

【0082】

＜注記＞
顔部位認識部２０２において顔画像における顔部位の認識に失敗した場合、当該顔画像と、顔部位マークＵＩ部２０３の操作を通じて配置された顔部位マークの位置などの情報と、を対応付けてよい。そして、当該対応関係を用いた機械学習を実機することにより、顔部位認識部２０２における顔部位認識の精度を向上させることも可能である。

【0083】

また、上述では、顔部位マークＵＩ部２０３は、図７のＳ１０７において、図８から図１０のＵＩ３００に示すような画面を表示して、ユーザ２に、顔部位と顔部位マークとの位置関係を確認させることを例示した。しかし、顔部位マークＵＩ部２０３は、図７のＳ１０７において、図１７に例示するような肌分析領域を含む画面を表示して、ユーザ２に、顔部位、顔部位マーク及び肌分析領域の位置関係を確認させてもよい。

【0084】

＜本開示のまとめ＞
本実施の形態では、肌分析装置１０は、カメラ１０１が撮影したユーザ２の顔画像から顔部位を認識する顔部位認識部２０２と、顔部位を示す顔部位マーク３０１を顔画像に配置した顔部位マークのＵＩをディスプレイ１０２に表示させ、顔部位マーク３０１に対する操作を受け付ける顔部位マークＵＩ部２０３と、操作された顔部位マーク３０１の位置に基づいて、顔画像に対して肌分析領域を設定する分析領域設定部２０４と、設定された肌分析領域に対して肌分析を実行する肌分析実行部２０５とを備える。当該構成によれば、例えば以下の（１）及び（２）のような作用効果が得られる。

【0085】

（１）特許文献１に代表される従来の構成では、顔部位認識部２０２の許容範囲に収まらない顔画像が撮影された場合、顔部位の認識に失敗し、肌分析領域を設定できない。典型的には、髪の毛により顔部位の一部が隠れて撮影された場合、又は、横顔の顔画像の撮影時に横顔の角度が深くなり過ぎて目などの顔部位が撮影されなかった場合などに、顔部位の認識に失敗する。これに対して、本実施の形態に係る肌分析装置１０によれば、顔部位マークＵＩ部２０３の操作を通じて顔部位に関する情報を設定（修正）するにより、肌分析領域を設定することが可能となる。

【0086】

（２）従来の構成では、肌分析領域に含まれる毛髪領域が肌分析結果に影響を及ぼすことがあったため、美容皮膚科などの医療現場では、毛髪領域を肌分析領域から除外することが課題の１つであった。これに対して、本実施の形態に係る肌分析装置１０によれば、髪の毛の生え際など顔部位を顔部位マークＵＩ部２０３の操作を通じて指定できるため、毛髪領域を簡単かつ適切に除外することができる。

【0087】

以上、本開示に係る実施形態について図面を参照して詳述してきたが、上述した肌分析装置１０の機能は、コンピュータプログラムにより実現され得る。

【0088】

図１８は、各装置の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ２１００は、キーボード又はマウス、タッチパッドなどの入力装置２１０１、ディスプレイ又はスピーカーなどの出力装置２１０２、ＣＰＵ（Central Processing Unit）２１０３、ＲＯＭ（Read Only Memory）２１０４、ＲＡＭ（Random Access Memory）２１０５、ハードディスク装置又はＳＳＤ（Solid State Drive）などの記憶装置２１０６、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）又はＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置２１０７、ネットワークを介して通信を行う通信装置２１０８を備え、各部はバス２１０９により接続される。

【0089】

そして、読取装置２１０７は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、通信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。

【0090】

そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各装置の機能が実現される。

【0091】

本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。

【0092】

上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるＬＳＩとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのＬＳＩ又はＬＳＩの組み合わせによって制御されてもよい。ＬＳＩは個々のチップから構成されてもよいし、機能ブロックの一部または全てを含むように一つのチップから構成されてもよい。ＬＳＩはデータの入力と出力を備えてもよい。ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

【0093】

集積回路化の手法はＬＳＩに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成
可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。

【0094】

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

【産業上の利用可能性】

【0095】

本開示の一態様は、人体の部位を認識するシステムに有用である。

【符号の説明】

【0096】

１０ 肌分析装置
２０ データベース
１０１ カメラ
１０２ ディスプレイ
１０３ 入力Ｉ／Ｆ
１０４ 記憶部
１０５ 制御部
２０１ 撮影処理部
２０２ 顔部位認識部
２０３ 顔部位マークＵＩ部
２０４ 分析領域設定部
２０５ 肌分析実行部
３００、４００、５００ 顔部位マークのＵＩ
７００ 肌分析領域のＵＩ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】