特表 2021-532461 肌の検出方法及び電子デバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2021-532461(P2021-532461A)

(43)【公表日】2021年11月25日

(54)【発明の名称】肌の検出方法及び電子デバイス

(51)【国際特許分類】

   G06T 7/00 20170101AFI20211029BHJP

   H04M 1/72 20210101ALI20211029BHJP

【ＦＩ】

   G06T7/00 660A

   H04M1/72

【審査請求】有

【予備審査請求】未請求

【全頁数】51

(21)【出願番号】特願2021-501047(P2021-501047)

(86)(22)【出願日】2018年9月18日

(85)【翻訳文提出日】2021年2月22日

(86)【国際出願番号】CN2018106232

(87)【国際公開番号】WO2020015147

(87)【国際公開日】20200123

(31)【優先権主張番号】201810775975.X

(32)【優先日】2018年7月16日

(33)【優先権主張国】CN

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT

(71)【出願人】

【識別番号】521218881

【氏名又は名称】オナー デバイス カンパニー リミテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】ディン、シン

(72)【発明者】

【氏名】ドン、チェン

(72)【発明者】

【氏名】フー、ホンウェイ

(72)【発明者】

【氏名】ジアン、ヨンタオ

(72)【発明者】

【氏名】ガオ、ウェンメイ

【テーマコード（参考）】

5K127

5L096

【Ｆターム（参考）】

5K127AA36

5K127BA03

5K127GD07

5K127KA04

5L096AA02

5L096AA06

5L096CA02

5L096DA02

5L096DA04

5L096EA05

5L096EA13

5L096EA39

5L096EA43

5L096FA32

5L096FA37

5L096GA51

5L096GA55

5L096JA11

5L096MA01

(57)【要約】

本願は、照明条件に起因して検出結果に比較的大きな誤差があるという既存の問題を解決するために、肌の検出方法及び電子デバイスを開示する。方法は、顔画像の関心のある領域をハイライト領域と非ハイライト領域とに分割する段階と、ハイライト領域の第１のセグメンテーション閾値及び非ハイライト領域の第２のセグメンテーション閾値を別々に判定する段階と、第１のセグメンテーション閾値に基づいて、ハイライト領域の二値画像を取得し、第２のセグメンテーション閾値に基づいて、非ハイライト領域の二値画像を取得する段階と、ハイライト領域の二値画像と非ハイライト領域の二値画像を融合する段階と、融合した画像に基づいて、関心のある領域に含まれる毛穴及び／又は毛穴の黒ずみを識別する段階とを含む。これにより、画像に対して１つのグローバル閾値しか用いられていない解決手段と比較して検出精度を向上させる。

【特許請求の範囲】

【請求項1】

肌の検出方法であって、
顔画像の関心のある領域を取得する段階と、
前記関心のある領域をハイライト領域と非ハイライト領域とに分割する段階と、
前記ハイライト領域の第１のセグメンテーション閾値及び前記非ハイライト領域の第２のセグメンテーション閾値を別々に判定する段階と、
前記第１のセグメンテーション閾値に基づいて、前記ハイライト領域の二値画像を取得し、前記第２のセグメンテーション閾値に基づいて、前記非ハイライト領域の二値画像を取得する段階と、
前記ハイライト領域の前記二値画像と前記非ハイライト領域の前記二値画像とを融合する段階と、
融合した画像に基づいて、前記関心のある領域に含まれる毛穴及び／又は毛穴の黒ずみを識別する段階と
を備える方法。

【請求項2】

前記関心のある領域をハイライト領域と非ハイライト領域とに分割する段階は、
前記関心のある領域に対して第１のグレースケール処理を実行して、第１のグレースケール画像を取得する段階と、
前記第１のグレースケール画像に対して二値化処理を実行して、前記第１のグレースケール画像の二値画像を取得する段階と、
前記第１のグレースケール画像の前記二値画像に対して連結成分分析を実行して、少なくとも１つの第１の連結成分を取得する段階と、
前記少なくとも１つの第１の連結成分のうちの、エリアが第１の予め設定された閾値より小さい連結成分を取り除いて、前記ハイライト領域を取得する段階と
を有し、
前記関心のある領域内の前記ハイライト領域以外の領域は、前記非ハイライト領域である、請求項１に記載の方法。

【請求項3】

前記関心のある領域に対して第１のグレースケール処理を実行して、第１のグレースケール画像を取得する前記段階は、
前記関心のある領域に含まれるｋ番目のピクセルのピクセル値に、前記ｋ番目のピクセルに対応する重み値を乗算する段階であって、前記ｋ番目のピクセルに対応する前記重み値は、前記関心のある領域の第２のグレースケール画像内の前記ｋ番目のピクセルの対応するグレースケール値に基づいて判定され、前記関心のある領域の前記第２のグレースケール画像は、前記関心のある領域に対してグレースケール変換を実行することにより取得され、ｋは、Ｌより小さいすべての正の整数をとり、Ｌは、前記関心のある領域に含まれるピクセルの数である、段階と、
前記関心のある領域に含まれる各ピクセルに対応する重み値を乗算することにより取得された画像に対してグレースケール変換を実行して、第３のグレースケール画像を取得する段階と、
前記グレースケール変換を通じて取得された前記第３のグレースケール画像に対して最小−最大正規化を実行する段階と、
前記最小−最大正規化を通じて取得された前記第３のグレースケール画像に対してグレースケール反転処理を実行して、前記第１のグレースケール画像を取得する段階と
を有する、請求項２に記載の方法。

【請求項4】

前記第１のグレースケール画像の前記二値画像に対して連結成分分析を実行して、少なくとも１つの第１の連結成分を取得する前記段階は、
前記第１のグレースケール画像の前記二値画像に対して拡大及び／又は腐食処理を実行する段階と、
前記拡大及び／又は腐食処理を受けた前記二値画像における少なくとも１つの第１の連結成分を取得する段階と
を含む、請求項２又は３に記載の方法。

【請求項5】

前記ハイライト領域の第１のセグメンテーション閾値を判定する前記段階は、
前記関心のある領域に対して第４のグレースケール処理を実行して、第４のグレースケール画像を取得し、前記第４のグレースケール画像内の前記ハイライト領域に含まれるｉ番目のピクセルと、前記ｉ番目のピクセルのＮ個の隣接するピクセルとのうちの最小のグレースケール値を取得する段階であって、ｉは、Ｍ１より小さい又はこれに等しいすべての正の整数をとり、Ｍ１は、前記ハイライト領域に含まれるピクセルの数であり、Ｎは、４の倍数に等しい、段階と、Ｍ１個の取得した最小のグレースケール値の平均値を前記第１のセグメンテーション閾値として用いる段階とを有する、請求項１から４いずれか一項に記載の方法。

【請求項6】

前記非ハイライト領域の第２のセグメンテーション閾値を判定する前記段階は、
前記関心のある領域に対して第４のグレースケール処理を実行して、第４のグレースケール画像を取得し、前記第４のグレースケール画像内の前記非ハイライト領域に含まれるｊ番目のピクセルと、前記ｊ番目のピクセルのＮ個の隣接するピクセルとの最小のグレースケール値を取得する段階であって、ｊは、Ｍ２より小さい又はこれに等しいすべての正の整数をとり、Ｍ２は、前記非ハイライト領域に含まれるピクセルの数である、段階と、Ｍ２個の取得した最小のグレースケール値の平均値を前記第２のセグメンテーション閾値として用いる段階とを有する、請求項１から４のいずれか一項に記載の方法。

【請求項7】

融合した画像に基づいて、前記関心のある領域に含まれる毛穴及び／又は毛穴の黒ずみを識別する前記段階は、
前記融合した画像に対して腐食及び／又は拡大処理を実行する段階と、
前記腐食及び／又は拡大処理を受けた前記融合した画像に基づいて、前記関心のある領域に含まれる前記毛穴及び／又は前記毛穴の黒ずみを識別する段階と
を有する、請求項１から６のいずれか一項に記載の方法。

【請求項8】

融合した画像に基づいて、前記関心のある領域に含まれる毛穴及び／又は毛穴の黒ずみを識別する前記段階は
前記融合した画像からノーズシャドウ領域を除去する段階と、前記ノーズシャドウ領域が除去された前記融合した画像に基づいて、前記関心のある領域に含まれる前記毛穴及び／又は前記毛穴の黒ずみを判定する段階とを有する、請求項１から７のいずれか一項に記載の方法。

【請求項9】

前記ノーズシャドウ領域は、
前記関心のある領域に対して第４のグレースケール処理を実行して、第４のグレースケール画像を取得し、前記第４のグレースケール画像に対して二値化処理を実行して、前記第４のグレースケール画像の二値画像を取得し、
前記第４のグレースケール画像の前記二値画像に対して連結成分分析を実行して、少なくとも１つの第２の連結成分を取得し、
前記少なくとも１つの第２の連結成分の、エリアが第２の予め設定された閾値よりも小さい連結成分を取り除いて、前記ノーズシャドウ領域を取得する
方式で位置決めされる、請求項８に記載の方法。

【請求項10】

前記第４のグレースケール画像の前記二値画像に対して連結成分分析を実行して、少なくとも１つの第２の連結成分を取得する前記段階は、
前記第４のグレースケール画像の前記二値画像に対して拡大及び／又は腐食処理を実行する段階と、
前記第４のグレースケール画像の、前記拡大及び／又は腐食処理を受けた前記二値画像における少なくとも１つの第２の連結成分を取得する段階と
を含む、請求項９に記載の方法。

【請求項11】

前記関心のある領域に対して第４のグレースケール処理を実行して、第４のグレースケール画像を取得する前記段階は、
前記関心のある領域に対してグレースケール変換を実行して、第２のグレースケール画像を取得する段階と、
前記第２のグレースケール画像に対して最小−最大正規化を実行する段階と、
前記最小−最大正規化を受けた前記第２のグレースケール画像に対してガウス差分フィルタリングを実行して、フィルタリングされた画像を取得する段階と、
前記フィルタリングされた画像に対して最小−最大正規化を実行する段階と、
前記最小−最大正規化を受けた前記フィルタリングされた画像のヒストグラムを取得し、前記フィルタリングされた画像の前記ヒストグラムに基づいて、前記フィルタリングされた画像内の第１タイプのピクセルのグレースケール値を０に設定し、前記フィルタリングされた画像内の第２タイプのピクセルのグレースケール値を２５５に設定する段階と
を含み、
前記第１タイプのピクセルの前記グレースケール値は、前記フィルタリングされた画像内の他のピクセルの最小グレースケール値よりも小さい又はこれに等しく、前記フィルタリングされた画像内のピクセルの総数における前記第１タイプのピクセルの数のパーセンテージはａ％であり、前記第２タイプのピクセルのグレースケール値は、前記フィルタリングされた画像内の他のピクセルの最大グレースケール値より大きい又はこれに等しく、前記フィルタリングされた画像内の前記ピクセルの総数における前記第２タイプのピクセルの数のパーセンテージはｂ％であり、ａ及びｂは両方とも正の整数である、請求項５、６及び９のいずれか一項に記載の方法。

【請求項12】

融合した画像に基づいて、前記関心のある領域に含まれる毛穴及び／又は毛穴の黒ずみを識別する前記段階は、
前記融合した画像に含まれる少なくとも１つの第３の連結成分を取得し、それぞれの第３の連結成分に対応するパラメータを取得する段階であって、前記パラメータは、半径、円形度及び内部−外部の色バリエーション値のうちの少なくとも１つを有する、段階と、
それぞれの第３の連結成分に対応する前記パラメータに基づいて、前記第３の連結成分に対応する位置が毛穴又は毛穴の黒ずみであるかを識別する段階と
を含み、
前記円形度は、前記第３の連結成分の形状と円との間の類似度を表すために用いられ、前記内部−外部の色バリエーション値は、前記関心のある領域の位置で前記第３の連結成分に対応する内部ピクセル値と外部ピクセル値との間の差分又は割合である、請求項１から１１のいずれか一項に記載の方法。

【請求項13】

前記方法は、さらに、
識別された毛穴に対応する画像を処理して、量子化された毛穴インジケータを取得する段階と、前記量子化された毛穴インジケータに基づいて、前記関心のある領域の量子化された毛穴スコアを計算する段階と、前記量子化された毛穴スコアを表示する段階とを備え、
前記量子化された毛穴インジケータは、毛穴エリアの割合、毛穴密度、平均の毛穴の内部−外部の色バリエーション値、及び、毛穴の内部−外部の色バリエーション値−重み付けされたエリアの割合のうちの少なくとも１つを有し、
前記毛穴エリアの割合は、前記関心のある領域のエリアに対する前記関心のある領域に含まれる毛穴の総面積の割合であり、前記毛穴密度は、前記関心のある領域の前記エリアに対する前記関心のある領域に含まれる毛穴の数の割合であり、前記平均の毛穴の内部−外部の色バリエーション値は、前記関心のある領域に含まれる前記毛穴の内部−外部の色バリエーション値の平均値であり、前記毛穴の内部−外部の色バリエーション値−重み付けされたエリアの前記割合は、前記関心のある領域に含まれる各毛穴の内部−外部の色バリエーション値を対応するエリアごとに乗算することにより取得されたすべての値を加算することにより取得された和の、前記関心のある領域の前記エリアに対する割合である、請求項１から１２のいずれか一項に記載の方法。

【請求項14】

前記方法は、さらに、
識別された毛穴の黒ずみに対応する画像を処理して、量子化された毛穴の黒ずみインジケータを取得する段階と、前記量子化された毛穴の黒ずみインジケータに基づいて、前記関心のある領域の量子化された毛穴の黒ずみスコアを計算する段階と、前記量子化された毛穴の黒ずみスコアを表示する段階とを備え、
前記量子化された毛穴の黒ずみインジケータは、毛穴の黒ずみエリアの割合、毛穴の黒ずみの密度、平均の毛穴の黒ずみの内部−外部の色バリエーション値、及び、毛穴の黒ずみの内部−外部の色バリエーション値−重み付けされたエリアの割合のうちの少なくとも１つを有し、
前記毛穴の黒ずみエリアの割合は、前記関心のある領域の前記エリアに対する前記関心のある領域に含まれる毛穴の黒ずみの総面積の割合であり、前記毛穴の黒ずみの密度は、前記関心のある領域の前記エリアに対する前記関心のある領域に含まれる毛穴の黒ずみの数の割合であり、前記平均の毛穴の黒ずみの内部−外部の色バリエーション値は、前記関心のある領域に含まれる前記毛穴の黒ずみの内部−外部の色バリエーション値の平均値であり、前記毛穴の黒ずみの内部−外部の色バリエーション値−重み付けされたエリアの前記割合は、前記関心のある領域に含まれる各毛穴の黒ずみの内部−外部の色バリエーション値を対応するエリアごとに乗算することにより取得されたすべての値を加算することにより取得される和の、前記関心のある領域の前記エリアに対する割合である、請求項１から１３のいずれか一項に記載の方法。

【請求項15】

プロセッサ及びメモリを備える電子デバイスであって、前記プロセッサは、前記メモリに連結されており、
前記メモリは、プログラム命令を格納するように構成され、
前記プロセッサは、前記メモリに格納されている前記プログラム命令を読み出して、請求項１から１４のいずれか一項に記載の方法を実施するように構成される、電子デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０１８年７月１６日に中国特許庁に出願され、「肌の検出方法及び装置」と題する中国特許出願第２０１８１０７７５９７５．Ｘ号に対する優先権を主張し、その全体が参照により本明細書に組み込まれる。

【0002】

本願は、画像処理技術の分野、特に、肌の検出方法及び電子デバイスに関する。

【背景技術】

【0003】

顔の肌状態の客観的な検出及び評価は、成長が著しい美容及び肌ケア市場において重要な役割を果たしている。現在のところ、顔の肌状態は、通常、専門の検出デバイスを用いることにより顔画像を分析することで検出及び評価される。専門の検出デバイスは、比較的高価であり、通常、専門の組織により用いられており、一般の人々に適していない。

【0004】

今日では、モバイル端末の向上した撮像機能のおかげで、モバイル端末ベースの肌検出が可能となり、その結果、一般の人々が、モバイル端末を用いることにより肌の状態を検出できる。

【0005】

顔検出は、毛穴の黒ずみの検出及び毛穴の検出を含む。現在のところ、毛穴の黒ずみ及び毛穴を検出するためにモバイル端末が用いられる場合、用いられる検出方式は、撮像した顔画像を特定の色空間に変換し、次に、閾値ベースのグローバルセグメンテーションを実行し、連結成分分析を実行して、特定のサイズに一致する特徴を検出結果として選択する。撮像した顔画像は、照明条件などの撮影環境因子による影響を受けやすい。そのため、適切なグローバル閾値を取得することが比較的難しい。これは、セグメンテーション結果にさらに影響を与え、検出結果に比較的大きな誤差が生じてしまう。

【発明の概要】

【0006】

本願の実施形態は、照明条件に起因して、検出結果に比較的大きな誤差がある既存の問題を解決するために、肌の検出方法及び電子デバイスを提供する。

【0007】

第１態様によれば、本願の実施形態は、肌の検出方法を提供し、方法は、顔画像の関心のある領域を取得する段階と、関心のある領域をハイライト領域と非ハイライト領域とに分割する段階と、ハイライト領域の第１のセグメンテーション閾値及び非ハイライト領域の第２のセグメンテーション閾値を別々に判定する段階と、第１のセグメンテーション閾値に基づいて、ハイライト領域の二値画像を取得し、第２のセグメンテーション閾値に基づいて、非ハイライト領域の二値画像を取得する段階と、ハイライト領域の二値画像と非ハイライト領域の二値画像とを融合する段階と、融合した画像に基づいて、関心のある領域に含まれる毛穴及び／又は毛穴の黒ずみを識別する段階とを含む。

【0008】

本願の本実施形態において提供される解決手段によれば、関心のある領域は、顔の照明条件に基づいて、２つの領域に分割され、２つの領域に対応するセグメンテーション閾値がそれぞれ判定される。これにより、画像に対して１つのグローバル閾値しか用いられていない解決手段と比較して、検出精度を向上させる。

【0009】

第１態様の可能な設計において、関心のある領域をハイライト領域と非ハイライト領域とに分割する段階は、関心のある領域に対して第１のグレースケール処理を実行して、第１のグレースケール画像を取得する段階と、第１のグレースケール画像に対して二値化処理を実行して、第１のグレースケール画像の二値画像を取得する段階と、第１のグレースケール画像の二値画像に対して連結成分分析を実行して、少なくとも１つの第１の連結成分を取得する段階と、少なくとも１つの第１の連結成分のうちの、エリアが第１の予め設定された閾値より小さい連結成分を取り除いて、ハイライト領域を取得する段階であって、関心のある領域内のハイライト領域以外の領域は非ハイライト領域である、段階とを含む。

【0010】

上述した設計は、ハイライト領域及び非ハイライト領域を位置決めするためのシンプルな方式を提供する。

【0011】

第１態様の可能な設計において、関心のある領域に対して第１のグレースケール処理を実行して、第１のグレースケール画像を取得する段階は、関心のある領域に含まれるｋ番目のピクセルのピクセル値にｋ番目のピクセルに対応する重み値を乗算する段階であって、ｋ番目のピクセルに対応する重み値は、関心のある領域の第２のグレースケール画像内のｋ番目のピクセルの対応するグレースケール値に基づいて判定され、関心のある領域の第２のグレースケール画像は、関心のある領域に対してグレースケール変換を実行することにより取得され、ｋは、Ｌより小さいすべての正の整数をとり、Ｌは、関心のある領域に含まれるピクセルの数である、段階と、関心のある領域に含まれる各ピクセルに対応する重み値を乗算することにより取得された画像に対してグレースケール変換を実行して、第３のグレースケール画像を取得する段階と、変換を通じて取得した第３のグレースケール画像に対して最小−最大正規化を実行し、最小−最大正規化を通じて取得した第３のグレースケール画像に対してグレースケール反転処理を実行して、第１のグレースケール画像を取得する段階とを含む。

【0012】

上述の設計によれば、グレースケール処理は、ハイライト領域の輪郭を描くので、その結果、ハイライト領域と非ハイライト領域との間の差異の程度が大きくなり、それにより、毛穴又は毛穴の黒ずみを検出する際の精度をさらに向上させる。

【0013】

第１態様の可能な設計において、第１のグレースケール画像の二値画像に対して連結成分分析を実行して、少なくとも１つの第１の連結成分を取得する段階は、第１のグレースケール画像の二値画像に対して拡大及び／又は腐食処理を実行して、拡大及び／又は腐食処理を受けた二値画像における少なくとも１つの第１の連結成分を取得する段階を含む。

【0014】

上述の設計によれば、グレースケール画像の二値画像に対して、拡大及び／又は腐食処理が実行され、それにより、それぞれの第１の連結成分の境界を平滑化する。

【0015】

第１態様の可能な設計において、ハイライト領域の第１のセグメンテーション閾値を判定する段階は、関心のある領域に対して第４のグレースケール処理を実行して、第４のグレースケール画像を取得する段階と、第４のグレースケール画像内のハイライト領域に含まれるｉ番目のピクセル及びｉ番目のピクセルのＮ個の隣接するピクセルの最小のグレースケール値を取得する段階であって、ｉは、Ｍ１より小さい又はこれに等しいすべての正の整数をとり、Ｍ１は、ハイライト領域に含まれるピクセルの数であり、Ｎは、４の倍数に等しい、段階と、Ｍ１個の取得した最小のグレースケール値の平均値を第１のセグメンテーション閾値として用いる段階とを含む。

【0016】

上述の設計によれば、ハイライト領域の第１のセグメンテーション閾値が判定される。これは、毛穴又は毛穴の黒ずみを検出する際の精度を向上させることに寄与する。

【0017】

第１態様の可能な設計において、非ハイライト領域の第２のセグメンテーション閾値を判定する段階は、関心のある領域に対して第４のグレースケール処理を実行して、第４のグレースケール画像を取得し、第４のグレースケール画像の非ハイライト領域に含まれるｊ番目のピクセル及びｊ番目のピクセルのＮ個の隣接するピクセルの最小のグレースケール値を取得する段階であって、ｊは、Ｍ２より小さい又はこれに等しいすべての正の整数をとり、Ｍ２は、非ハイライト領域に含まれるピクセルの数である、段階と、Ｍ２個の取得した最小のグレースケール値の平均値を第２のセグメンテーション閾値として用いる段階とを含む。

【0018】

上述の設計によれば、非ハイライト領域の第１のセグメンテーション閾値が判定される。これは、毛穴又は毛穴の黒ずみを検出する際の精度を向上させることに寄与する。

【0019】

第１態様の可能な設計において、融合した画像に基づいて、関心のある領域に含まれる毛穴及び／又は毛穴の黒ずみを識別する段階は、融合した画像に対して腐食及び／又は拡大処理を実行する段階と、腐食及び／又は拡大処理を受けた融合した画像に基づいて、関心のある領域に含まれる毛穴及び／又は毛穴の黒ずみを識別する段階とを含む。

【0020】

上述の設計によれば、融合した画像に対して腐食及び／又は拡大処理を実行することにより、融合した画像を平滑化できる。

【0021】

第１態様の可能な設計において、融合した画像に基づいて、関心のある領域に含まれる毛穴及び／又は毛穴の黒ずみを識別する段階は、融合した画像からノーズシャドウ領域を除去する段階と、ノーズシャドウ領域が除去される融合した画像に基づいて、関心のある領域に含まれる毛穴及び／又は毛穴の黒ずみを判定する段階とを含む。

【0022】

第１態様の可能な設計において、ノーズシャドウ領域は、関心のある領域に対して第４のグレースケール処理を実行して、第４のグレースケール画像を取得し、第４のグレースケール画像に対して二値化処理を実行して、第４のグレースケール画像の二値画像を取得し、第４のグレースケール画像の二値画像に対して連結成分分析を実行して、少なくとも１つの第２の連結成分を取得し、少なくとも１つの第２の連結成分のうちの、エリアが第２の予め設定された閾値よりも小さい連結成分を取り除いて、ノーズシャドウ領域を取得する方式で位置決めされる。

【0023】

ノーズシャドウ領域における毛穴又は毛穴の黒ずみの誤検出が頻繁に発生する。そのため、上述の設計によれば、ノーズシャドウ領域が位置決めされ、毛穴の黒ずみ及び毛穴が判定される前に、ノーズシャドウ領域は関心のある領域から除去され、それにより、誤検出の割合を下げる。

【0024】

第１態様の可能な設計において、第４のグレースケール画像の二値画像に対して連結成分分析を実行して、少なくとも１つの第２の連結成分を取得する段階は、第４のグレースケール画像の二値画像に対して拡大及び／又は腐食処理を実行して、第４のグレースケール画像の、拡大及び／又は腐食処理を受けた二値画像における少なくとも１つの第２の連結成分を取得する段階を含む。

【0025】

第１態様の可能な設計において、関心のある領域に対して第４のグレースケール処理を実行して、第４のグレースケール画像を取得する段階は、関心のある領域に対してグレースケール変換を実行して、第２のグレースケール画像を取得する段階と、第２のグレースケール画像に対して最小−最大正規化を実行する段階と、最小−最大正規化を受けた第２のグレースケール画像に対してガウス差分フィルタリングを実行して、フィルタリングされた画像を取得する段階と、フィルタリングされた画像に対して最小−最大正規化を実行する段階と、最小−最大正規化を受けたフィルタリングされた画像のヒストグラムを取得し、フィルタリングされた画像のヒストグラムに基づいて、フィルタリングされた画像における第１タイプのピクセルのグレースケール値を０に設定する段階と、フィルタリングされた画像における第２タイプのピクセルのグレースケール値を２５５に設定する段階であって、第１タイプのピクセルのグレースケール値は、フィルタリングされた画像における他のピクセルの最小グレースケール値よりも小さい又はこれに等しく、フィルタリングされた画像内のピクセルの総数における第１タイプのピクセルの数のパーセンテージはａ％であり、第２タイプのピクセルのグレースケール値は、フィルタリングされた画像における他のピクセルの最大グレースケール値より大きい又はこれに等しく、フィルタリングされた画像内のピクセルの総数における第２タイプのピクセルの数のパーセンテージはｂ％であり、ａ及びｂは両方とも正の整数である、段階とを含む。これは、毛穴の黒ずみ又は毛穴を検出する際の精度を向上させることに寄与する。

【0026】

第１態様の可能な設計において、融合した画像に基づいて、関心のある領域に含まれる毛穴及び／又は毛穴の黒ずみを識別する段階は、融合した画像に含まれる少なくとも１つの第３の連結成分を取得し、それぞれの第３の連結成分に対応するパラメータを取得する段階であって、パラメータは、半径、円形度及び内部−外部の色バリエーション値のうちの少なくとも１つを含む、段階と、それぞれの第３の連結成分に対応するパラメータに基づいて、第３の連結成分に対応する位置が毛穴又は毛穴の黒ずみであるかを識別する段階であって、円形度は、第３の連結成分の形状と円との間の類似度を表すために用いられ、内部−外部の色バリエーション値は、関心のある領域の位置における第３の連結成分に対応する内部ピクセル値と外部ピクセル値との間の差分又は割合である、段階とを含む。これは、毛穴の黒ずみ又は毛穴を検出する際の精度を向上させることに寄与する。

【0027】

第１態様の可能な設計において、方法は、さらに、識別された毛穴に対応する画像を処理して、量子化された毛穴インジケータを取得する段階と、量子化された毛穴インジケータに基づいて、関心のある領域の量子化された毛穴スコアを計算する段階と、量子化された毛穴スコアを表示する段階とを含み、量子化された毛穴インジケータは、毛穴エリアの割合、毛穴密度、平均の毛穴の内部−外部の色バリエーション値、及び、毛穴の内部−外部の色バリエーション値−重み付けされたエリアの割合うちの少なくとも１つを含み、毛穴エリアの割合は、関心のある領域のエリアに対する関心のある領域に含まれる毛穴の総面積の割合であり、毛穴密度は、関心のある領域のエリアに対する関心のある領域に含まれる毛穴の数の割合であり、平均の毛穴の内部−外部の色バリエーション値は、関心のある領域に含まれる毛穴の内部−外部の色バリエーション値の平均値であり、毛穴の内部−外部の色バリエーション値−重み付けされたエリアの割合は、関心のある領域に含まれる各毛穴の内部−外部の色バリエーション値を対応するエリアで乗算することにより取得されるすべての値を加算することにより取得される和の、関心のある領域のエリアに対する割合である。

【0028】

第１態様の可能な設計において、方法はさらに、識別された毛穴の黒ずみに対応する画像を処理して、量子化された毛穴の黒ずみインジケータを取得する段階と、量子化された毛穴の黒ずみインジケータに基づいて、関心のある領域の量子化された毛穴の黒ずみスコアを計算する段階と、量子化された毛穴の黒ずみスコアを表示する段階であって、量子化された毛穴の黒ずみインジケータは、毛穴の黒ずみエリアの割合、毛穴の黒ずみの密度、平均の毛穴の黒ずみの内部−外部の色バリエーション値、及び、毛穴の黒ずみの内部−外部の色バリエーション値−重み付けされたエリアの割合のうちの少なくとも１つを含む、段階と、毛穴の黒ずみエリアの割合は、関心のある領域のエリアに対する関心のある領域に含まれる毛穴の黒ずみの総面積の割合であり、毛穴の黒ずみの密度は、関心のある領域のエリアに対する関心のある領域に含まれる毛穴の黒ずみの数の割合であり、平均の毛穴の黒ずみの内部−外部の色バリエーション値は、関心のある領域に含まれる毛穴の黒ずみの内部−外部の色バリエーション値の平均値であり、毛穴の黒ずみの内部−外部の色バリエーション値−重み付けされたエリアの割合は、関心のある領域に含まれる各毛穴の黒ずみの内部−外部の色バリエーション値に対応するエリアを乗算することにより取得されるすべての値を加算することにより取得された和の、関心のある領域のエリアに対する割合である、段階とを含む。

【0029】

量子化されたスコアは、複数の次元のインジケータを用いることにより判定される。これは、エリアのみを用いることにより量子化されたスコアを計算する既存の方法と比べて、より専門的で科学的である。

【0030】

第１態様と同じ発明の概念に基づいて、第２態様によれば、本願の実施形態は、第１態様又は第１態様の設計のうちのいずれか１つに係る方法を実行するためのユニットを含む肌検出装置を提供する。

【0031】

第３態様によれば、本願の実施形態は、プロセッサ及びメモリを含む電子デバイスを提供する。プロセッサは、メモリに連結され、メモリは、プログラム命令を格納するように構成され、プロセッサは、メモリに格納されたプログラム命令を読み出して、第１態様又は第１態様の可能な設計のうちのいずれか１つに係る方法を実施するように構成される。

【0032】

第４態様によれば、本願の実施形態は、コンピュータ記憶媒体を提供する。コンピュータ記憶媒体は、プログラム命令を格納する。プログラム命令が電子デバイス上で動作する場合、電子デバイスは、第１態様又は第１態様の可能な設計のうちのいずれか１つに係る方法を実行することが可能である。

【0033】

第５態様によれば、本願の実施形態は、コンピュータプログラム製品を提供する。コンピュータプログラム製品が電子デバイス上で動作する場合、電子デバイスは、第１態様又は第１態様の可能な設計のうちのいずれか１つに係る方法を実行することが可能である。

【0034】

第６態様によれば、本願の実施形態は、チップを提供する。チップは、電子デバイス内のメモリに連結され、第１態様又は第１態様の可能な設計のうちのいずれか１つに係る方法を実行する。

【0035】

さらに、第２態様から第６態様によりもたらされる技術的な効果については、第１態様の説明を参照されたい。ここで再び詳細が説明されることはない。

【0036】

本願の実施形態では、「連結」は、２つの部品間の直接的又は間接的な相互の組み合わせを意味することを留意すべきである。

【図面の簡単な説明】

【0037】

【図1】本願の実施形態に係る電子デバイスの概略構造図である。

【0038】

【図2】本願の実施形態に係るユーザインタフェースの概略図である。

【0039】

【図3A】本願の実施形態に係る肌検出方法のフローチャートである。

【0040】

【図3B-1】本願の実施形態に係るプレビューユーザインタフェースの概略図である。

【図3B-2】本願の実施形態に係るプレビューユーザインタフェースの概略図である。

【図3B-3】本願の実施形態に係るプレビューユーザインタフェースの概略図である。

【0041】

【図4A】本願の実施形態に係る毛穴のＲＯＩの概略図である。

【0042】

【図4B】本願の実施形態に係る毛穴の黒ずみのＲＯＩの概略図である。

【0043】

【図5A】本願の実施形態に係るハイライト領域を位置決めする方法の概略図である。

【0044】

【図5B】本願の実施形態に係るハイライト領域マスクの概略図である。

【0045】

【図6A】本願の実施形態に係るハイライト領域のセグメンテーション閾値を判定する方法の概略フローチャートである。

【0046】

【図6B】本願の実施形態に係る非ハイライト領域のセグメンテーション閾値を判定する方法の概略フローチャートである。

【0047】

【図7A】本願の実施形態に係るピクセルの４つの隣接の概略図である。

【0048】

【図7B】本願の実施形態に係るピクセルの８つの隣接の概略図である。

【0049】

【図8A】本願の実施形態に係る第４のグレースケール処理の概略フローチャートである。

【0050】

【図8B】本願の実施形態に係るヒストグラムの概略図である。

【0051】

【図9】本願の実施形態に係るノーズシャドウ領域を判定する方法の概略フローチャートである。

【0052】

【図10】本願の実施形態に係る連結成分の内部及び外部の概略図である。

【0053】

【図11】本願の実施形態に係る肌検出の概略フローチャートである。

【0054】

【図12A】本願の実施形態に係る毛穴のＲＯＩの概略図である。

【0055】

【図12B】本願の実施形態に係る毛穴のＲＯＩの第４のグレースケール画像の概略図である。

【0056】

【図12C】本願の実施形態に係るハイライト領域の概略図である。

【0057】

【図12D】本願の実施形態に係るハイライト領域の二値画像の概略図である。

【0058】

【図12E】本願の実施形態に係る非ハイライト領域の二値画像の概略図である。

【0059】

【図12F】本願の実施形態に係る融合した画像の二値画像の概略図である。

【0060】

【図12G】本願の実施形態に係るノーズシャドウ領域の概略図である。

【0061】

【図13A】本願の実施形態に係る毛穴の検出結果の概略図である。

【図13B】本願の実施形態に係る毛穴の検出結果の概略図である。

【図13C】本願の実施形態に係る毛穴の検出結果の概略図である。

【0062】

【図14】本願の実施形態に係る毛穴の黒ずみの検出結果の概略図である。

【0063】

【図15】本願の実施形態に係る肌質の分析報告お概略図である。

【0064】

【図16】本願の実施形態に係る電子デバイス１６００の概略図である。

【発明を実施するための形態】

【0065】

本願において開示される実施形態は、電子デバイスに適用されることができる。本願のいくつかの実施形態において、電子デバイスは、パーソナルデジタルアシスタント及び／又は音楽プレーヤなどの機能を含むポータブル電子デバイス、例えば、携帯電話、タブレットコンピュータ、無線通信機能を有するウェアラブルデバイス（例えば、スマートウォッチ）又は車載デバイスであってよい。ポータブル電子デバイスの例示的な実施形態は、限定されるものではないが、ｉＯＳ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）又は別のオペレーティングシステムを用いるポータブル電子デバイスを含む。上述したポータブル電子デバイスは、代わりに、タッチ感受面（例えば、タッチパネル）などを有するラップトップコンピュータ（Ｌａｐｔｏｐ）であってよい。本願のいくつかの他の実施形態では、電子デバイスは、代わりに、タッチ感受面（例えば、タッチパネル）を有するデスクトップコンピュータであってよいことも理解されたい。

【0066】

図１は、電子デバイス１００の概略構造図である。

【0067】

電子デバイス１００は、プロセッサ１１０、外部メモリインタフェース１２０、内部メモリ１２１、ユニバーサルシリアルバス（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ、ＵＳＢ）インタフェース１３０、充電管理モジュール１４０、電源管理モジュール１４１、バッテリ１４２、アンテナ２、無線通信モジュール１６０、オーディオモジュール１７０、スピーカ１７０Ａ、受信機１７０Ｂ、マイク１７０Ｃ、ヘッドセットインタフェース１７０Ｄ、センサモジュール１８０、キー１９０、モータ１９１、インジケータ１９２、カメラ１９３、及び、ディスプレイスクリーン１９４などを含んでよい。センサモジュール１８０は、周辺光センサ１８０Ｌを含む。さらに、センサモジュール１８０は、圧力センサ１８０Ａ、ジャイロスコープセンサ１８０Ｂ、気圧センサ１８０Ｃ、磁気センサ１８０Ｄ、加速度センサ１８０Ｅ、距離センサ１８０Ｆ、光学式近接センサ１８０Ｇ、指紋センサ１８０Ｈ、温度センサ１８０Ｊ、タッチセンサ１８０Ｋ、及び、骨伝導センサ１８０Ｍなどをさらに含んでよい。いくつかの他の実施形態において、本願の本実施形態における電子デバイス１００は、さらに、アンテナ１、モバイル通信モジュール１５０、及び、加入者識別モジュール（ｓｕｂｓｃｒｉｂｅｒ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｍｏｄｕｌｅ、ＳＩＭ）カードインタフェース１９５などを含んでよい。

【0068】

プロセッサ１１０は、１つ又は複数の処理ユニットを含んでよい。例えば、プロセッサ１１０は、アプリケーションプロセッサ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ、ＡＰ）、モデムプロセッサ、グラフィックス処理ユニット（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＧＰＵ）、画像信号プロセッサ（ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＩＳＰ）、コントローラ、メモリ、ビデオコーデック、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、ベースバンドプロセッサ、及び／又は、ニューラルネットワークプロセッシングユニット（ｎｅｕｒａｌ−ｎｅｔｗｏｒｋ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＮＰＵ）を含んでよい。異なる処理ユニットは、独立したデバイスであってよい、又は、１つ又は複数のプロセッサに統合されてよい。

【0069】

いくつかの実施形態において、プロセッサ１１０は、さらに、命令及びデータを格納するように構成されるメモリが設けられてよい。例えば、プロセッサ１１０内のメモリは、キャッシュメモリであってよい。メモリは、プロセッサ１１０により、最近用いられた命令又はデータ、又は、繰り返し用いられている命令又はデータを格納してよい。プロセッサ１１０が、再び命令又はデータを用いる必要がある場合、プロセッサ１１０は、メモリから命令又はデータを直接呼び出してよい。これにより、繰り返しのアクセスを回避し、プロセッサ１１０の待ち時間を減らし、それにより、システム効率を向上させる。

【0070】

いくつかの他の実施形態において、プロセッサ１１０は、１つ又は複数のインタフェースをさらに含んでよい。例えば、インタフェースは、（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ、ＵＳＢ）インタフェース１３０であってよい。別の例として、インタフェースは、代わりに、インター集積回路（ｉｎｔｅｒ−ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、Ｉ２Ｃ）インタフェース、インター集積回路サウンド（ｉｎｔｅｒ−ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ ｓｏｕｎｄ、Ｉ２Ｓ）インタフェース、パルス符号変調（ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ、ＰＣＭ）インタフェース、汎用非同期送受信機（ｕｎｉｖｅｒｓａｌ ａｓｙｎｃｈｒｏｎｏｕｓ ｒｅｃｅｉｖｅｒ／ｔｒａｎｓｍｉｔｔｅｒ、ＵＡＲＴ）インタフェース、モバイル業界プロセッサインタフェース（ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ、ＭＩＰＩ）、汎用入力／出力（ｇｅｎｅｒａｌ−ｐｕｒｐｏｓｅ ｉｎｐｕｔ／ｏｕｔｐｕｔ、ＧＰＩＯ）インタフェース又は加入者識別モジュール（ｓｕｂｓｃｒｉｂｅｒ ｉｄｅｎｔｉｔｙ ｍｏｄｕｌｅ、ＳＩＭ）インタフェースであってよい。本願の本実施形態では、電子デバイス１００の異なるモジュールは、インタフェースを通じて接続されてよく、その結果、電子デバイス１００は、撮影及び処理などの異なる機能を実装できることが理解され得る。電子デバイス１００におけるインタフェースの接続方式は、本願の本実施形態において限定されるものではないことに留意すべきである。

【0071】

ＵＳＢインタフェース１３０は、ＵＳＢ標準規格に準拠するインタフェースである。例えば、ＵＳＢインタフェース１３０は、ｍｉｎｉＵＳＢインタフェース、ｍｉｃｒｏＵＳＢインタフェース、及び、ＵＳＢｔｙｐｅＣインタフェースなどを含んでよい。ＵＳＢインタフェース１３０は、電子デバイス１００を充電するために充電器に接続するように構成されてよく、電子デバイス１００と周辺デバイスとの間でデータを伝送するように構成されてもよく、ヘッドセットを通じてオーディオを再生するために、ヘッドセットに接続するように構成されてもよい。インタフェースは、さらに、ＡＲデバイスなどの別の電子デバイスに接続するように構成されてよい。

【0072】

充電管理モジュール１４０は、充電器から充電入力を受信するように構成される。充電器は、無線の充電器であってよい、又は、有線の充電器であってよい。いくつかの有線充電方式の実施形態において、充電管理モジュール１４０は、ＵＳＢインタフェース１３０を通じて有線の充電器から充電入力を受信してよい。いくつかの無線充電方式の実施形態において、充電管理モジュール１４０は、電子デバイス１００の無線充電コイルから無線充電入力を受信してよい。充電管理モジュール１４０は、さらに、バッテリ１４２を充電しつつ、電源管理モジュール１４１を通じて電子デバイスに電力を供給してよい。

【0073】

電源管理モジュール１４１は、バッテリ１４２、充電管理モジュール１４０及びプロセッサ１１０に接続するように構成される。電源管理モジュール１４１は、バッテリ１４２及び／又は充電管理モジュール１４０から入力及び／又は入力を受信して、プロセッサ１１０、内部メモリ１２１、外部メモリ、ディスプレイスクリーン１９４、カメラ１９３、及び、無線通信モジュール１６０などに電力を供給する。電源管理モジュール１４１は、さらに、バッテリ容量、バッテリサークル数及びバッテリヘルス状態（漏電又はインピーダンス）などのパラメータをモニタリングするように構成されてよい。いくつかの他の実施形態において、電源管理モジュール１４１は、代わりに、プロセッサ１１０に配置されてよい。いくつかの他の実施形態において、電源管理モジュール１４１及び充電管理モジュール１４０は、代わりに、同一のデバイスに配置されてよい。

【0074】

電子デバイス１００の無線通信機能は、アンテナ１、アンテナ２、モバイル通信モジュール１５０、無線通信モジュール１６０、モデムプロセッサ、及び、ベースバンドプロセッサなどを用いることにより実装されてよい。

【0075】

アンテナ１及びアンテナ２は、電磁波信号を伝送及び受信するように構成される。電子デバイス１００における各アンテナは、１つ又は複数の通信周波数帯をカバーするように構成されてよい。異なるアンテナが再使用されることで、アンテナの利用を改善し得る。例えば、アンテナ１は、無線ローカルエリアネットワークのダイバーシチアンテナとして再使用されてよい。いくつかの他の実施形態において、アンテナは、チューニングスイッチと組み合わせて用いられてよい。

【0076】

モバイル通信モジュール１５０は、２Ｇ、３Ｇ、４Ｇ又は５Ｇなどを含む電子デバイス１００に適用される無線通信解決手段を提供してよい。モバイル通信モジュール１５０は、少なくとも１つのフィルタ、スイッチ、電力増幅器、及び、低雑音増幅器（ｌｏｗ ｎｏｉｓｅ ａｍｐｌｉｆｉｅｒ、ＬＮＡ）などを含んでよい。モバイル通信モジュール１５０は、アンテナ１を通じて電磁波を受信し、受信した電磁波に対してフィルタリング、増幅及び他の処理を実行し、処理した電磁波を復調用のモデムプロセッサに転送してよい。モバイル通信モジュール１５０は、さらに、モデムプロセッサにより変調された信号を増幅し、アンテナ１を用いることにより、増幅した信号を電磁波に変換し、アンテナ１を通じて電磁波を放射してよい。いくつかの実施形態において、モバイル通信モジュール１５０の少なくともいくつかの機能モジュールは、プロセッサ１１０に配置されてよい。いくつかの実施形態において、モバイル通信モジュール１５０の少なくともいくつかの機能モジュールは、プロセッサ１１０の少なくともいくつかのモジュールと同一のデバイスに配置されてよい。

【0077】

モデムプロセッサは、変調器及び復調器を含んでよい。変調器は、送信対象の低周波数ベースバンド信号を中間周波数又は高周波数信号に変調するように構成される。変調器は、受信した電磁波信号を低周波数ベースバンド信号に復調するように構成される。そして、復調器は、復調を通じて取得した低周波数ベースバンド信号を処理用のベースバンドプロセッサに転送する。ベースバンドプロセッサにより処理された後に、低周波数ベースバンド信号は、アプリケーションプロセッサに転送される。アプリケーションプロセッサは、（限定されるものではないが、スピーカ１７０Ａ及び受信機１７０Ｂを含む）オーディオデバイスを通じて音声信号を出力する、又は、ディスプレイスクリーン１９４を通じて画像又はビデオを表示する。いくつかの実施形態において、モデムプロセッサは、独立したデバイスであってよい。いくつかの他の実施形態において、モデムプロセッサは、プロセッサ１１０から独立してよく、モバイル通信モジュール１５０又は別の機能モジュールと同一のデバイスに配置される。

【0078】

無線通信モジュール１６０は、電子デバイス１００、例えば、無線ローカルエリアネットワーク（ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋｓ、ＷＬＡＮ）（例えば、ワイヤレス・フィディリティ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ、Ｗｉ−Ｆｉ（登録商標）ネットワーク）、ブルートゥース（登録商標）（ｂｌｕｅｔｏｏｔｈ（登録商標）、ＢＴ）、全球測位衛星システム（ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ、ＧＮＳＳ）、周波数変調（ｆｒｅｑｕｅｎｃｙ ｍｏｄｕｌａｔｉｏｎ、ＦＭ）、近距離無線通信（ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ、ＮＦＣ）及び赤外線（ｉｎｆｒａｒｅｄ、ＩＲ）技術に適用される無線通信解決手段を提供してよい。無線通信モジュール１６０は、少なくとも１つの通信処理モジュールと統合される１つ又は複数のデバイスであってよい。無線通信モジュール１６０は、アンテナ２を通じて電磁波信号を受信し、電磁波信号に対して周波数変調及びフィルタリング処理を実行し、処理した信号をプロセッサ１１０に送信する。無線通信モジュール１６０は、さらに、プロセッサ１１０から送信対象の信号を受信し、送信対象の信号に対して周波数変調及び増幅処理を実行し、アンテナ２を用いることにより、処理した送信対象の信号を電磁波に変換し、アンテナ２を通じて電磁波を放射してよい。

【0079】

いくつかの実施形態において、電子デバイス１００では、アンテナ１は、モバイル通信モジュール１５０に連結され、アンテナ２は、無線通信モジュール１６０に連結され、その結果、電子デバイス１００は、無線通信技術を用いることにより、ネットワーク及び別のデバイスと通信できる。無線通信技術は、グローバルシステムフォーモバイルコミュニケーションズ（ｇｌｏｂａｌ ｓｙｓｔｅｍ ｆｏｒ ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ、ＧＳＭ（登録商標））、汎用パケット無線サービス（ｇｅｎｅｒａｌ ｐａｃｋｅｔ ｒａｄｉｏ ｓｅｒｖｉｃｅ、ＧＰＲＳ）、符号分割多元接続（ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ、ＣＤＭＡ）、広域符号分割多元接続（ｗｉｄｅｂａｎｄ ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ、ＷＣＤＭＡ（登録商標））、時分割符号分割多元接続（ｔｉｍｅ−ｄｉｖｉｓｉｏｎ ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ、ＴＤ−ＳＣＤＭＡ）、ロングタームエボリューション（ｌｏｎｇ ｔｅｒｍ ｅｖｏｌｕｔｉｏｎ、ＬＴＥ）、ＢＴ、ＧＮＳＳ、ＷＬＡＮ、ＮＦＣ、ＦＭ、ＩＲ、及び／又は、他の技術を含んでよい。ＧＮＳＳは、グローバルポジショニングシステム（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ、ＧＰＳ）、全球測位衛星システム（ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ、ＧＬＯＮＡＳＳ）、北斗衛星導航系統（ｂｅｉｄｏｕ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ、ＢＤＳ）、準天頂衛星システム（ｑｕａｓｉ−ｚｅｎｉｔｈ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ、ＱＺＳＳ）、及び／又は、静止衛星型補強システム（ｓａｔｅｌｌｉｔｅ−ｂａｓｅｄ ａｕｇｍｅｎｔａｔｉｏｎ ｓｙｓｔｅｍｓ、ＳＢＡＳ）を含んでよい。

【0080】

電子デバイス１００は、ＧＰＵ、ディスプレイスクリーン１９４及びアプリケーションプロセッサを用いることにより、表示機能を実施する。ＧＰＵは、画像処理用のマイクロプロセッサであり、ディスプレイスクリーン１９４及びアプリケーションプロセッサに接続される。ＧＰＵは、数学的及び幾何学的計算を実行するように構成され、グラフィックスレンダリングを実行するように構成される。プロセッサ１１０は、１つ又は複数のＧＰＵを含み、プログラム命令を実行して、表示情報を生成又は変更してよい。

【0081】

ディスプレイスクリーン１９４は、画像及びビデオなどを表示するように構成される。ディスプレイスクリーン１９４は、ディスプレイパネルを含む。ディスプレイパネルは、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＬＣＤ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＯＬＥＤ）、アクティブマトリックス式有機発光ダイオード（ａｃｔｉｖｅ−ｍａｔｒｉｘ ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＡＭＯＬＥＤ）、フレキシブル発光ダイオード（ｆｌｅｘ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＦＬＥＤ）、ｍｉｎｉＬＥＤ、ｍｉｃｒｏＬＥＤ、ｍｉｃｒｏＯＬＥＤ、又は、量子ドット発光ダイオード（ｑｕａｎｔｕｍ ｄｏｔ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅｓ、ＱＬＥＤ）などを用いてよい。いくつかの実施形態において、電子デバイス１００は、１つ又はＮ個のディスプレイスクリーン１９４を含んでよく、Ｎは、１より大きい正の整数である。

【0082】

電子デバイス１００は、ＩＳＰ、カメラ１９３、ビデオコーデック、ＧＰＵ、ディスプレイスクリーン１９４、及び、アプリケーションプロセッサなどを用いることにより、撮影機能を実施してよい。

【0083】

ＩＳＰは、カメラ１９３によりフィードバックされるデータを処理するように構成される。例えば、撮影中、シャッタを開けた後に、照明がカメラの受光素子に転送され、光信号が電気信号に変換され、カメラの受光素子は、電気信号を処理用のＩＳＰに転送して、電気信号を人の目に見える画像に変換する。ＩＳＰは、さらに、ノイズ、明るさ及び肌の色に関して、画像に対してアルゴリズムベースの最適化を実行してよい。ＩＳＰは、さらに、撮影シナリオの露出及び色温度などのパラメータを最適化してよい。いくつかの実施形態において、ＩＳＰは、カメラ１９３に配置されてよい。

【0084】

カメラ１９３は、静止画又はビデオを取り込むように構成される。対象の光学的画像は、レンズを通じて生成され、受光素子に投影される。受光素子は、電荷結合素子（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ、ＣＣＤ）、又は、相補型金属酸化膜半導体（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ−ｏｘｉｄｅ−ｓｅｍｉｃｏｎｄｕｃｔｏｒ、ＣＭＯＳ）ベースのフォトトランジスタであってよい。受光素子は、光信号を電気信号に変換し、デジタル画像信号に変換される電気信号をＩＳＰに転送する。ＩＳＰは、デジタル画像信号を処理用のＤＳＰに出力する。ＤＳＰは、デジタル画像信号を標準的なＲＧＢ又はＹＵＶフォーマットなどの画像信号に変換する。いくつかの実施形態において、電子デバイス１００は、１つ又はＮ個のカメラ１９３を含んでよく、Ｎは、１より大きい正の整数である。

【0085】

デジタル信号プロセッサは、デジタル信号を処理するように構成される。デジタル信号プロセッサは、デジタル画像信号を処理できるだけでなく、別のデジタル信号も処理できる。例えば、電子デバイス１００が周波数を選択した場合、デジタル信号プロセッサは、周波数エネルギなどに対してフーリエ変換を実行するように構成される。

【0086】

ビデオコーデックは、デジタルビデオを圧縮又は圧縮解除するように構成される。電子デバイス１００は、１つ又は複数のタイプのビデオコーデックをサポートできる。このように、電子デバイス１００は、複数のエンコーディングフォーマット、例えば、ムービングピクチャエクスパーツグループ（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ、ＭＰＥＧ）−１、ＭＰＥＧ−２、ＭＰＥＧ−３及びＭＰＥＧ−４でビデオを再生又は記録してよい。

【0087】

ＮＰＵは、生物学的ニューラルネットワーク構造を用いることにより、例えば、人の脳のニューロン間の転送のモードを用いることにより、入力された情報を迅速に処理するニューラルネットワーク（ｎｅｕｒａｌ−ｎｅｔｗｏｒｋ、ＮＮ）演算プロセッサであり、さらに、継続的な自己学習を実行してよい。電子デバイス１００のインテリジェントコグニティブなどのアプリケーション、例えば、画像認識、顔認識、音声認識、及び、テキスト理解はＮＰＵを用いることにより実装され得る。

【0088】

外部メモリインタフェース１２０は、電子デバイス１００のストレージ機能を拡張するために、外部メモリカード（例えば、ｍｉｃｒｏＳＤカード）に接続するように構成されてよい。外部メモリカードは、外部メモリインタフェース１２０を通じてプロセッサ１１０と通信して、例えば、音楽、ビデオ及び他のファイルを外部メモリカードに格納するために、データストレージ機能を実装する。

【0089】

内部メモリ１２１は、コンピュータ実行可能なプログラムコードを格納するように構成されてよく、実行可能なプログラムコードは命令を含む。プロセッサ１１０は、内部メモリ１２１に格納されている命令を動作させて、電子デバイス１００のさまざま機能アプリケーション及びデータ処理を実行する。内部メモリ１２１は、プログラム記憶領域及びデータ記憶領域を含んでよい。プログラム記憶領域は、少なくとも１つの機能（例えば、音声再生機能又は画像再生機能）に必要なオペレーティングシステム及びアプリケーションプログラムなどを格納してよい。データ記憶領域は、電子デバイス１００の使用中に作成されたデータ（例えば、オーディオデータ及び電話帳など）及び他のデータを格納してよい。さらに、内部メモリ１２１は、高速ランダムアクセスメモリを含んでよく、さらに、少なくとも１つの磁気ディスクストレージデバイス、少なくとも１つのフラッシュメモリデバイス、及び少なくとも１つのユニバーサルフラッシュストレージ（ｕｎｉｖｅｒｓａｌ ｆｌａｓｈ ｓｔｏｒａｇｅ、ＵＦＳ）などの不揮発性メモリを含んでよい。

【0090】

電子デバイス１００は、オーディオモジュール１７０、スピーカ１７０Ａ、受信機１７０Ｂ、マイク１７０Ｃ、ヘッドセットインタフェース１７０Ｄ及びアプリケーションプロセッサなどを用いることにより、音楽再生及び録音などのオーディオ機能を実施してよい。

【0091】

オーディオモジュール１７０は、デジタルオーディオ情報をアナログオーディオ信号出力に変換するように構成され、また、アナログオーディオ入力をデジタルオーディオ信号に変換するように構成される。オーディオモジュール１７０は、さらに、オーディオ信号をエンコーディング及びデコーディングするように構成されてよい。いくつかの実施形態において、オーディオモジュール１７０は、プロセッサ１１０に配置されてよい、又は、オーディオモジュール１７０のいくつかの機能モジュールは、プロセッサ１１０に配置されてよい。

【0092】

「スピーカ」とも称されるスピーカ１７０Ａは、電気的なオーディオ信号を音声信号に変換するように構成される。電子デバイス１００は、スピーカ１７０Ａを用いることにより、音楽を聞く又はハンズフリー電話に応答するために用いられてよい。

【0093】

「イヤピース」とも称される受信機１７０Ｂは、電気的なオーディオ信号を音声信号に変換するように構成される。電子デバイス１００において、呼び出し又は音声情報を受信した場合、人の耳の近くに受信機１７０Ｂを置くことにより音声を聞くことができる。

【0094】

「音声管」又は「拡声器」とも称されるマイク１７０Ｃは、音声信号を電気信号に変換するように構成される。電話する又は音声情報を送信する場合、ユーザは、口の近くにマイク１７０Ｃを置いて話すことで、音声信号をマイク１７０Ｃに入力し得る。電子デバイス１００は、少なくとも１つのマイク１７０Ｃが設けられてよい。いくつかの他の実施形態において、電子デバイス１００は、２つのマイク１７０Ｃが設けられてよく、さらに、音声信号の収集に加えて、騒音低減機能を実装してよい。いくつかの他の実施形態において、電子デバイス１００は、代わりに、音声信号の収集及び騒音低減を実施する３つ、４つ又はそれより多くのマイク１７０Ｃが設けられてよく、さらに、音源を識別して、指向性録音機能を実装してよい。

【0095】

ヘッドセットインタフェース１７０Ｄは、有線のヘッドセットに接続するように構成される。ヘッドセットインタフェース１７０Ｄは、ＵＳＢインタフェース１３０であってよい、又は、標準的な３．５ｍｍオープンモバイル端末プラットフォーム（ｏｐｅｎ ｍｏｂｉｌｅ ｔｅｒｍｉｎａｌ ｐｌａｔｆｏｒｍ、ＯＭＴＰ）インタフェース、又は、米国の標準的なセルラ通信業界団体（ｃｅｌｌｕｌａｒ ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎｄｕｓｔｒｙ ａｓｓｏｃｉａｔｉｏｎ ｏｆ ｔｈｅ ＵＳＡ、ＣＴＩＡ）インタフェースなどであってよい。

【0096】

圧力センサ１８０Ａは、圧力信号を感知するように構成され、圧力信号を電気信号に変換してよい。いくつかの実施形態において、圧力センサ１８０Ａは、ディスプレイスクリーン１９４に配置されてよい。圧力センサ１８０Ａは、多くのタイプ、例えば、抵抗性の圧力センサ、インダクティブ方式の圧力センサ、又は、容量性の圧力センサなどであってよい。容量性の圧力センサは、導電性材料を包含する少なくとも２つの平行なプレートを含んでよい。圧力センサ１８０Ａに力が加えられた場合、電極間の静電容量が変化する。電子デバイス１００は、静電容量の変化に基づいて、圧力の強度を判定する。ディスプレイスクリーン１９４にタッチ操作が加えられた場合、電子デバイス１００は、圧力センサ１８０Ａを用いることによりタッチ操作の強度を検出する。電子デバイス１００はまた、圧力センサ１８０Ａにより検出された信号に基づいて、タッチ位置を計算してよい。いくつかの実施形態において、同一のタッチ位置に加えられたが、異なるタッチ操作の強度を有するタッチ操作は、異なるオペレーション命令に対応し得る。例えば、ＳＭＳメッセージアプリケーションのアイコンに対して、第１の圧力閾値により小さいタッチ操作の強度を有するタッチ操作が加えられた場合、ＳＭＳメッセージを見るための命令が実行される。ＳＭＳメッセージアプリケーションのアイコンに対して、第１の圧力閾値より大きい又はこれに等しいタッチ操作の強度を有するタッチ操作が加えられた場合、ＳＭＳメッセージを作成するための命令が実行される。

【0097】

ジャイロスコープセンサ１８０Ｂは、電子デバイス１００の運動姿勢を判定するように構成されてよい。いくつかの実施形態において、ジャイロスコープセンサ１８０Ｂを用いることにより、３軸（すなわち、Ｘ、Ｙ、及びＺ軸）に対する電子デバイス１００の角速度が判定されてよい。ジャイロスコープセンサ１８０Ｂは、撮影中の画像の安定化を実施するように構成されてよい。例えば、シャッタが押された場合、ジャイロスコープセンサ１８０Ｂは、電子デバイス１００の揺れの角度を検出し、角度に基づいて、レンズモジュールにより補償される必要がある距離を計算して、レンズのカウンタモーションを通じて電子デバイス１００の揺れを弱めることで、画像の安定化を実施する。ジャイロスコープセンサ１８０Ｂは、さらに、ナビゲーション及びモーション感知ゲームシナリオで用いられてよい。

【0098】

気圧センサ１８０Ｃは、気圧を測定するように構成される。いくつかの実施形態において、電子デバイス１００は、気圧センサ１８０Ｃにより測定された気圧値に基づいて、高度を計算して、ポジショニング及びナビゲーションを支援する。

【0099】

磁気センサ１８０Ｄは、ホール効果センサを含む。電子デバイス１００は、磁気センサ１８０Ｄを用いることにより、折り畳み式レザーケースの開閉を検出してよい。いくつかの実施形態において、電子デバイス１００が折り畳み式携帯電話である場合、電子デバイス１００は、磁気センサ１８０Ｄを用いることにより、クラムシェルの開閉を検出してよい。このように、レザーケースの検出された開／閉状態又はクラムシェルの検出された開／閉状態に基づいて、折り畳み式携帯電話が開いた場合の自動ロック解除などの特性が設定され得る。

【0100】

加速度センサ１８０Ｅは、（通常、３軸に沿う）すべての方向における電子デバイス１００の加速度の大きさを検出してよい。電子デバイス１００が動いていない場合、加速度センサ１８０Ｅは、重力の大きさ及び向きを検出してよい。加速度センサ１８０Ｅは、さらに、電子デバイスの姿勢を識別するように構成されてよく、ランドスケープ／ポートレートモード切り替え、及び、歩数計などに適用される。

【0101】

距離センサ１８０Ｆは、距離を測定するように構成される。電子デバイス１００は、赤外線又はレーザ光線を用いることにより距離を測定してよい。いくつかの実施形態において、撮影シナリオでは、電子デバイス１００は、距離センサ１８０Ｆを用いることにより距離を測定して、迅速なピント調節を実施してよい。

【0102】

光学式近接センサ１８０Ｇは、発光ダイオード（ＬＥＤ）、及び、光検出器など、例えば、フォトダイオードを含んでよい。発光ダイオードは、赤外線発光ダイオードであってよい。電子デバイス１００は、発光ダイオードを用いることにより赤外光を放射する。電子デバイス１００は、フォトダイオードを用いることにより、近くの対象から反射した赤外光を検出する。検出した反射光が十分な場合、電子デバイス１００は、電子デバイス１００の近くに対象があると判定できる。検出した反射光が十分でない場合、電子デバイス１００は、電子デバイス１００の近くに対象が１つもないと判定できる。電子デバイス１００は、光学式近接センサ１８０Ｇを用いることにより、呼び出しの間にユーザが耳の近くに電子デバイス１００を保持していることを検出して、自動的に画面をオフにすることができ、それにより、電力を節約する。光学式近接センサ１８０Ｇは、レザーケースモード及びポケットモードにおいて、自動ロック解除及び画面ロックするために用いられてもよい。

【0103】

周辺光センサ１８０Ｌは、周辺光の明るさを感知するように構成される。電子デバイス１００は、周辺光の感知した明るさに基づいて、ディスプレイスクリーン１９４の明るさを適応的に調整してよい。周辺光センサ１８０Ｌは、撮影中のホワイトバランスを自動的に調整するように構成されてもよい。周辺光センサ１８０Ｌは、さらに、光学式近接センサ１８０Ｇと協調して、電子デバイス１００がポケットにあるか否かを検出して、間違いによるタッチを防止するように構成されてよい。

【0104】

指紋センサ１８０Ｈは、指紋を収集するように構成される。収集した指紋の特徴を用いることにより、電子デバイス１００は、指紋を介したロック解除、アプリケーションロックへのアクセスし、指紋を介した写真の撮影、及び、指紋を介した呼び出しに対する応答などを実施してよい。

【0105】

温度センサ１８０Ｊは、温度を検出するように構成される。いくつかの実施形態において、電子デバイス１００は、温度センサ１８０Ｊを用いることにより温度を検出して、温度処理ポリシを実行する。例えば、温度センサ１８０Ｊにより報告された温度が閾値を超える場合、電子デバイス１００は、温度センサ１８０Ｊの近くのプロセッサのパフォーマンスを低下させて、電力消費を減らし、熱保護を実施する。いくつかの他の実施形態において、温度が別の閾値より小さい場合、電子デバイス１００は、バッテリ１４２を温めて、低温によりもたらされる電子デバイス１００の異常電源オフを防止する。いくつかの他の実施形態において、温度がさらに別の閾値より小さい場合、電子デバイス１００は、バッテリ１４２の出力電圧を上げて、低温によりもたらされる異常電源オフを防止する。

【0106】

タッチセンサ１８０Ｋは、「タッチパネル」とも称される。タッチセンサ１８０Ｋは、ディスプレイスクリーン１９４に配置されてよく、タッチセンサ１８０Ｋ及びディスプレイスクリーン１９４は、「タッチ制御画面」とも称されるタッチ画面を形成する。タッチセンサ１８０Ｋは、タッチセンサ１８０Ｋの上又は近くに加えられたタッチ操作を検出するように構成される。タッチセンサは、タッチイベントタイプを判定するために、検出したタッチ操作をアプリケーションプロセッサに転送してよい。ディスプレイスクリーン１９４は、タッチ操作に関連する視覚的な出力を提供するために用いられてよい。いくつかの他の実施形態において、タッチセンサ１８０Ｋは、代わりに、ディスプレイスクリーン１９４とは異なる位置の電子デバイス１００の表面に配置されてよい。

【0107】

骨伝導センサ１８０Ｍは、振動信号を取得してよい。いくつかの実施形態において、骨伝導センサ１８０Ｍは、人の身体の声帯部分の骨振動の振動信号を取得してよい。骨伝導センサ１８０Ｍはまた、人の身体の脈拍に接触して、血圧変動信号を受信してよい。いくつかの実施形態において、骨伝導センサ１８０Ｍは、代わりに、骨伝導ヘッドセットを形成するために、ヘッドセットに設けられてよい。オーディオモジュール１７０は、骨伝導センサ１８０Ｍにより取得された人の身体の声帯部分の骨振動の振動信号を分析することを通じて、音声信号を取得して、音声機能を実施してよい。アプリケーションプロセッサは、骨伝導センサ１８０Ｍにより取得された血圧変動信号を分析することを通じて心拍情報を取得して、心拍検出機能を実施してよい。

【0108】

キー１９０は、電源オン／オフキー、及び、ボリュームキーなどを含んでよい。キー１９０は、機械的なキーであってよい、又は、タッチキーであってよい。電子デバイス１００は、キー入力を受信して、電子デバイス１００のユーザ設定又は機能制御に関連するキー信号入力を生成してよい。

【0109】

モータ１９１は、振動アラートを生成してよい。モータ１９１は、着信振動アラートを生成するように構成されてよく、タッチ振動フィードバックを提供するように構成されてもよい。例えば、異なるアプリケーション（例えば、撮影及びオーディオ再生）に対して加えられるタッチ操作は、異なる振動フィードバック効果に対応してよい。モータ１９１は、これに応じて、ディスプレイスクリーン１９４上の異なる領域に加えられるタッチ操作によって、異なる振動フィードバック効果を提供してもよい。異なるアプリケーションシナリオ（例えば、時間のリマインダ、情報の受信、アラーム及びゲーム）は、異なる振動フィードバック効果に対応してもよい。タッチ振動フィードバック効果は、カスタマイズされてもよい。

【0110】

インジケータ１９２は、インジケータライトであってよく、充電状態及びバッテリレベルの変化を示すように構成されてよく、メッセージ、不在着信及び通知などを示すように構成されてもよい。

【0111】

ＳＩＭカードインタフェース１９５は、ＳＩＭカードに接続するように構成される。ＳＩＭカードは、ＳＩＭカードインタフェース１９５に挿入され、ＳＩＭカードインタフェース１９５から引き出されて、電子デバイス１００に接触又は分離した状態になり得る。電子デバイス１００は、１つ又はＮ個のＳＩＭカードインタフェースをサポートしてよく、Ｎは、１より大きい正の整数である。ＳＩＭカードインタフェース１９５は、ｎａｎｏ−ＳＩＭカード、ｍｉｃｒｏ−ＳＩＭカード及びＳＩＭカードなどをサポートできる。複数のカードは、同一のＳＩＭカードインタフェース１９５に同時に挿入され得る。複数のカードは、同じタイプ又は異なるタイプのものであってよい。ＳＩＭカードインタフェース１９５は、異なるタイプのＳＩＭカードと互換性があってもよい。ＳＩＭカードインタフェース１９５は、外部メモリカードと互換性があってもよい。電子デバイス１００は、ＳＩＭカードを用いることによりネットワークとインタラクトして、呼び出し及びデータ通信などを実施する。いくつかの実施形態において、電子デバイス１００は、ｅＳＩＭカード、すなわち、組み込み式のＳＩＭカードを用いる。ｅＳＩＭカードは、電子デバイス１００に組み込まれてよく、電子デバイス１００から分離することができる。

【0112】

本願の本実施形態において示される構造は、電子デバイス１００に対して特定の制限を構成するものでないことが理解され得る。本願のいくつかの他の実施形態において、電子デバイス１００は、図に示されるこれらより多く又はより少ないコンポーネントを含んでよい、いくつかのコンポーネントは組み合わせられてよい、いくつかのコンポーネントは分けられてよい、又は、異なるコンポーネント配置があってよい。示されるコンポーネントは、ハードウェア、ソフトウェア、又は、ソフトウェアとハードウェアとの組み合わせにより実装されてよい。

【0113】

さらに、本願において、「少なくとも１つ」は、１つ又は複数を意味し、「複数」は、２つ又はそれより多くを意味することに留意すべきである。用語「及び／又は」は、関連する対象を説明するための関連する関係を説明し、３つの関係が存在し得ることを表す。例えば、Ａ及び／又はＢは、Ａのみが存在する、Ａ及びＢの両方が存在する、及び、Ｂのみが存在するといった３つの場合を表してよく、Ａ及びＢはそれぞれ単数形でも複数形でもよい。符号「／」は、概して、関連する対象間の「又は」の関係を示す。「以下の少なくとも１つの（項目）」又はこれらの同様の表現は、これらの項目の任意の組み合わせを意味し、単一の項目、又は、複数の項目の任意の組み合わせを含む。例えば、ａ、ｂ又はｃのうちの少なくとも１つ（項目）は、ａ、ｂ、ｃ、ａ及びｂ、ａ及びｃ、ｂ及びｃ、又は、ａ及びｂ及びｃを表してよく、ａ、ｂ及びｃはそれぞれ単数形でも複数形でもよい。さらに、本願の説明において、「第１」及び「第２」などの用語は、説明における区別を目的としたものに過ぎず、相対的な重要度を示す又は暗示する、又は、順序を示す又は暗示するものと解釈されるべきではないことが理解されたい。

【0114】

以下では、例として電子デバイス１００を用いることにより、本願の実施形態を詳細に説明する。

【0115】

本願の実施形態において、電子デバイスによりサポートされるアプリケーションプログラムは、カメラなどの撮影用のアプリケーションを含んでよいことを理解されたい。さらに、電子デバイスによりサポートされるアプリケーションプログラムは、描画、ゲーム、電話、ビデオプレーヤ、音楽プレーヤ、写真管理、ブラウザ、カレンダー及び時計などの複数の他のアプリケーションをさらに含んでよい。

【0116】

本願の実施形態において、電子デバイスによりサポートされるアプリケーションは、肌検出アプリケーションをさらに含んでよい。肌検出アプリケーションは、撮像した顔画像を用いることにより、ユーザの顔の肌の特徴（例えば、しわ、毛穴、毛穴の黒ずみ、しみ及び顔の肌）を検出し、検出結果報告をユーザに提供してよい。例えば、検出結果報告は、顔の肌の特徴に対するスコア、及び、顔の肌の総合的な分析などに限定されることなく含んでよく、さらに、ユーザの顔画像を表示し、各特徴に関する検出結果に基づいて、顔画像において対応する問題点をマーキングしてよく、例えば、鼻の頭の領域内の毛穴の黒ずみをマーキングする、額の領域にあるしわをマーキングする、及び、頬の領域にあるしみをマーキングする。検出結果報告は、ユーザインタフェース上でユーザに示されてよいことが理解され得る。例えば、検出結果報告は、図２に示されるユーザインタフェース２００上に示されてよく、合成スコア、肌年齢、毛穴、毛穴の黒ずみ、小じわ、しみ及び赤みの領域に対するスコアを含む。いくつかの他の実施形態において、ユーザインタフェース２００は、さらに、仮想ボタン２０１、仮想ボタン２０２、仮想ボタン２０３、仮想ボタン２０４、及び、仮想ボタン２０５を含んでよい。例として仮想ボタン２０１を用いて、電子デバイス１００は、仮想ボタン２０１に対する操作に応答して、ディスプレイスクリーン１９４上に毛穴に関する特別なケアアドバイスを表示する。仮想ボタン２０２、仮想ボタン２０３、仮想ボタン２０４及び仮想ボタン２０５の機能については、仮想ボタン２０１の機能を参照されたい。ここで再び詳細が説明されることはない。

【0117】

電子デバイスを用いることにより、ユーザの顔の肌のより正確な検出を可能にするために、例えば、本願の実施形態におけるユーザの肌検出の解決手段では、撮影状況検出モジュール、画質検出モジュール、関心のある領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ、ＲＯＩ）検出モジュール及び肌の特徴検出モジュール、結果分析モジュールなどがプロセッサ１１０に統合されてよい。いくつかの実施形態において、撮影状況検出モジュール、画質検出モジュール、関心のある領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ、ＲＯＩ）検出モジュール、肌の特徴検出モジュール及び結果分析モジュールなどは、プロセッサ１１０内のアプリケーションプロセッサに統合されてよい。いくつかの他の実施形態において、人工知能（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）チップがプロセッサ１１０に統合され、撮影状況検出モジュール、画質検出モジュール、関心のある領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ、ＲＯＩ）検出モジュール、肌の特徴検出モジュール及び結果分析モジュールなどは、ＡＩチップに統合されて、ユーザの肌検出を実施してよい。

【0118】

撮影状況検出モジュールは、必要とされる撮影状況下で写真を撮影するようにユーザをガイドして、撮像した画像が要件を満たすことを保証するために、現在の撮影状況を検出してよく、それにより、画像に基づいた肌検出の精度を保証する。例えば、必要とされる撮影状況は、十分な周辺光があること、顔と電子デバイスとの間に適切な距離（例えば、約２５ｃｍ）があること、顔が適切な姿勢に保たれていること、目を開けたり閉じたりしていること、眼鏡を外さなければならないこと、できるだけ前髪を額にかからないようにすること、及び、焦点が正しいこと、明らかな揺れがないことなどである。

【0119】

撮影状況検出モジュールが撮影状況の検出に成功した後に、プロセッサ１１０は、スマートな照明補足を可能にする。例えば、撮影状況検出モジュールは、現在の撮影状況が要件を満たす場合、検出に成功したと判定する。具体的には、本願の実施形態において、電子デバイスは、異なる顔の肌の特徴検出要件を満たすように、異なる照明補足モード（例えば、フラッシュモード又はフラッシュライトモード）を用いて、ユーザの顔に対する照明を補ってよい。ユーザの顔に対して、照明が補われた後に、プロセッサ１１０は、カメラ１９３を制御して、ユーザの顔を撮影して、ユーザの顔画像を取得してよい。

【0120】

画質検出モジュールは、撮像した画像が異なる顔の肌の特徴検出要件を満たすことを保証するために、顔画像の品質を検出してよい。

【0121】

画像の品質が要件を満たすことを画質検出モジュールが検出した後に、ＲＯＩ検出モジュールは、顔画像内の検出対象のＲＯＩを判定してよい。例えば、毛穴の黒ずみのＲＯＩは、鼻の頭にある小さな領域である。

【0122】

肌の特徴検出モジュールは、判定されたＲＯＩにおける顔の肌の特徴を別々に検出してよく、例えば、肌のしわ、毛穴、毛穴の黒ずみ、しみ、赤みの領域及び脂っぽさの程度などを検出する。

【0123】

結果分析モジュールは、肌の特徴検出モジュールにより検出された顔の肌の特徴に関する検出結果を分析し、それぞれの肌の特徴の各検出項目のスコア及びランクなどを提供してよい。

【0124】

さらに、いくつかの実施形態において、プロセッサ１１０は、さらに、画像処理モジュールと統合されてよい。画像処理モジュールは、ＲＯＩ検出モジュール及び肌の特徴検出モジュールなどのために後続の処理を実行するために、撮像した顔画像に対して圧縮及びクロップなどを実行してよい。

【0125】

顔画像に関する分析結果を出力する、又は、各検出項目のスコアなどを出力するために、プロセッサ１１０は、さらに、検出後に取得された（例えば、鼻の頭の領域内の毛穴の黒ずみをマーキングし、額の領域にあるしわをマーキングし、頬の領域にあるしみをマーキングした特徴に関する検出結果が顔画像に位置決めされている領域、及び、各検出項目のスコアなどを含む）検出報告をディスプレイスクリーン１９４に表示してよく、その結果、ユーザは、検出報告を見ることができ、それにより、ユーザエクスペリエンスを改善する。

【0126】

発明者は、肌検出中に、顔に対する不均一な照明に起因して、二値化処理に適したグローバル閾値を取得することが比較的難しいことを発見した。暗い場所を基準として用いることにより閾値が判定される場合、明るい場所では、（誤検出に起因して）非常に多くの毛穴又は毛穴の黒ずみが検出され得る。明るい場所を基準として用いることにより閾値が判定される場合、暗い場所では、（検出不足に起因して）ごくわずかな毛穴しか検出されない又は毛穴が全く検出されない可能性がある。閾値の値は、照明又は人の姿勢がわずかに変化した場合に影響を与える可能性があり、それにより、検出結果間の一貫性に影響を与える。

【0127】

これを考慮して、本願の実施形態は、毛穴の黒ずみ及び／又は毛穴を検出する肌の検出方法及び端末デバイスを提供する。ＲＯＩ領域は、顔に対する光反射の状態に基づいてハイライト領域及び非ハイライト領域に分割され、二値化処理のために、２つの領域について閾値がそれぞれ判定され、そして、毛穴の黒ずみ及び／又は毛穴が判定される。

【0128】

図３Ａは、本願の実施形態に係る肌検出方法の概略フローチャートである。方法は、以下の段階を含む。肌の検出方法は、上述した電子デバイス１００により実行されてよく、例えば、電子デバイス１００内のプロセッサ１１０により実行されてよい。

【0129】

Ｓ３０１．顔画像の関心のある領域を取得する。

【0130】

可能な例では、本願の本実施形態において提供される肌の検出方法は、肌テストアプリケーションに適用され得る。肌テストアプリケーションを用いることにより顔画像が取得され、本願の本実施形態において提供される肌の検出方法は、顔画像に基づいて実行される。図３Ｂ−１から図３Ｂ−３に示されるように、電子デバイス１００のディスプレイスクリーン１９４は、肌テストアプリケーションのアイコン３００を表示する。アイコン３００に対する操作を検出した場合、アイコン３００に対する操作に応答して、電子デバイス１００は、ディスプレイスクリーン１９４上に肌テストアプリケーションのユーザインタフェース３１０を表示する。肌テストアプリケーションのユーザインタフェース３１０は肌テストボタン３１１を含む。電子デバイス１００は、肌テストボタン３１１に対する操作を検出する。肌テストボタン３１１に対する操作に応答して、ディスプレイスクリーン１９４は、カメラアプリケーションの撮影プレビューインタフェース３２０を表示する。撮影プレビューインタフェース３２０は、カメラ１９３により収集された画像を表示するように構成される。例えば、撮影プレビューインタフェース３２０は、プレビュー領域３２１を含んでよい。プレビュー領域３２１は、カメラ１９３により収集された画像を表示するように構成される。カメラ１９３により収集された画像は、ユーザの顔画像であってよいことを理解されたい。さらに、カメラ１９３は、電子デバイス１００のフロントカメラであってよい、又は、電子デバイス１００のリアカメラであってよい。いくつかの実施形態において、撮影品質を改善するために、フロントカメラの解像度がリアカメラの解像度より低い場合、カメラ１９３は、電子デバイス１００のリアカメラである。撮影品質をさらに改善するために、周辺光が撮影状況を満たす場合、電子デバイス１００は、カメラ１９３により収集された画像を自動的に撮影して、顔画像を取得する。本願の本実施形態における肌テストボタン３１１は、撮影ボタンと称されてもよく、本願の本実施形態は、肌テストボタン３１１の名称を限定するものではないことに留意すべきである。

【0131】

別の可能な例では、顔画像は、代わりに、電子デバイスにすでに格納されている画像であってよい。

【0132】

例えば、顔画像が取得された後に、顔の特徴位置特定方法が用いられ、顔画像は、さらに、関心のある領域（ＲＯＩ）を取得するためにセグメント化される。図４Ａに示されるように、毛穴の識別中、毛穴のＲＯＩは、顔の２つの側にある２つの頬及び鼻の領域を含む。図４Ｂに示されるように、毛穴の黒ずみの識別中、毛穴の黒ずみのＲＯＩは、鼻の領域を含む。

【0133】

Ｓ３０２．関心のある領域をハイライト領域と非ハイライト領域とに分割する。

【0134】

例えば、顔に対する不均一な照明に起因して、顔に対する光反射が顔画像内で変化するので、これに基づいて、関心のある領域は、ハイライト領域及び非ハイライト領域に分割される。

【0135】

Ｓ３０３．ハイライト領域の第１のセグメンテーション閾値及び非ハイライト領域の第２のセグメンテーション閾値を別々に判定する。

【0136】

Ｓ３０４．第１のセグメンテーション閾値に基づいてハイライト領域の二値画像を取得し、第２のセグメンテーション閾値に基づいて非ハイライト領域の二値画像を取得する。

【0137】

Ｓ３０５．ハイライト領域の二値画像及び非ハイライト領域の二値画像を融合する。

【0138】

Ｓ３０６．融合した画像に基づいて、関心のある領域に含まれる毛穴及び／又は毛穴の黒ずみを識別する。

【0139】

本願の本実施形態において提供される肌の検出方法によれば、関心のある領域がハイライト領域及び非ハイライト領域に分割され、判定されたセグメンテーション閾値が２つの領域に割り当てられ、当該領域に対応するセグメンテーション閾値を用いることにより、各領域に対して二値化処理が実行される。関心のある領域に対して１つのセグメンテーション閾値が判定される解決手段と比較して、これは、セグメンテーション閾値に対する照明の影響を回避でき、それにより、毛穴及び／又は毛穴の黒ずみを検出する際の精度を向上させる。

【0140】

可能な実施例では、段階Ｓ３０６において、関心のある領域に含まれる毛穴及び／又は毛穴の黒ずみが、融合した画像に基づいて識別された場合、融合した画像に対して、腐食及び／又は拡大処理がまず実行されてよく、腐食及び／又は拡大処理を受けた融合した画像に基づいて、関心のある領域に含まれる毛穴及び／又は毛穴の黒ずみが識別される。

【0141】

腐食処理は、対象の境界ポイントを取り除いて、ターゲットを減らすことができ、構造要素よりも小さいノイズポイントを取り除くことができ、拡大処理は、対象と接触するすべての背景ポイントを対象に組み込んで、ターゲットを拡張し、それにより、ターゲット内の穴を埋めることを留意すべきである。

【0142】

例えば、腐食前の拡大処理は、融合した画像に対して実行されてよく、拡大前の腐食処理は、融合した画像に対して実行されてよい。腐食前の拡大処理は、画像上のわずかなノイズを取り除いて、対象の境界を滑らかにすることができる。拡大前の腐食処理は、対象内のわずかな穴を埋めて、対象の境界を滑らかにすることができる。

【0143】

可能な実施例において、関心のある領域をハイライト領域と非ハイライト領域とに分割する、すなわち、ハイライト領域と非ハイライト領域を位置決めする段階Ｓ３０２は、以下の方式で実施されてよい。図５Ａに示されるように、方式は、以下の段階を含む。

【0144】

Ｓ５０１．関心のある領域に対して第１のグレースケール処理を実行して、第１のグレースケール画像を取得する。

【0145】

実現可能な例において、グレースケール変換は、第１のグレースケール画像を取得するために、関心のある領域に対して直接実行されてよい。

【0146】

例えば、グレースケール変換方法は、線形変換、区分線形変換、又は、非線形変換などであってよい。

【0147】

別の実現可能な例において、関心のある領域に対して第１のグレースケール処理を実行する段階は、以下の方式で実施されてよい。

【0148】

Ａ１．関心のある領域に含まれるｋ番目のピクセルのピクセル値に、ｋ番目のピクセルに対応する重み値を乗算する。

【0149】

ｋ番目のピクセルに対応する重み値は、関心のある領域の第２のグレースケール画像内のｋ番目のピクセルの対応するグレースケール値に基づいて判定されてよく、関心のある領域の第２のグレースケール画像は、関心のある領域に対してグレースケール変換を実行することにより取得され、ｋは、Ｌより小さいすべての正の整数をとり、Ｌは、関心のある領域に含まれるピクセルの数である。

【0150】

例えば、Ｗ_ｋは、ｋ番目のピクセルに対応する重み値を表し、
Ｗ_ｋ＝１―Ｉ＿ｇｒａｙ_ｋ／２５５
であり、Ｉ＿ｇｒａｙ_ｋは、関心のある領域の第２のグレースケール画像内のｋ番目のピクセルのグレースケール値を表す。

【0151】

関心のある領域の第２のグレースケール画像は、関心のある領域に対してグレースケール変換を実行することにより取得されてよい。

【0152】

Ａ２．対応する重み値に、関心のある領域に含まれる各ピクセルに対応する重み値を乗算することにより取得された画像に対してグレースケール変換を実行して、第３のグレースケール画像を取得する。

【0153】

Ａ３．変換を通じて取得された第３のグレースケール画像に対して最小−最大正規化を実行する。

【0154】

Ａ４．最小−最大正規化を通じて取得された第３のグレースケール画像に対してグレースケール反転処理を実行して、第１のグレースケール画像を取得する。

【0155】

例えば、黒の背景上に取得したハイライト領域を白で表示するために、最小−最大正規化は、第３のグレースケール画像を実行して、第３のグレースケール画像の最小−最大正規化された画像を取得してよく、最小−最大正規化された画像は２５５から減算され、そして、グレースケール反転処理が実行される。２５５から最小−最大正規化された画像を減算することは、２５５から最小−最大正規化された画像内のピクセルのピクセル値を減算することにより取得された値をピクセルのピクセル値として用いることである。

【0156】

グレースケール反転は、画像のグレースケール範囲に対して、線形又は非線形ネゲーション演算を実行して、グレースケールに関する入力画像とは反対の画像を生成することであることに留意すべきである。

【0157】

Ａ１からＡ４における第１のグレースケール処理の後に、ハイライト領域の輪郭が描かれ、それにより、ハイライト領域とハイライト領域との間の差異の程度を大きくする。

【0158】

Ｓ５０２．第１のグレースケール画像に対して二値化処理を実行して、第１のグレースケール画像の二値画像を取得する。

【0159】

Ｓ５０３．第１のグレースケール画像の二値画像に対して連結成分分析を実行して、少なくとも１つの第１の連結成分を取得する。

【0160】

Ｓ５０４．少なくとも１つの第１の連結成分のうちの、エリアが第１の予め設定された閾値より小さい連結成分を取り除いて、ハイライト領域を取得し、関心のある領域内のハイライト領域以外の領域は、非ハイライト領域である。

【0161】

例えば、第１のグレースケール画像の二値画像に対して連結成分分析を実行して、少なくとも１つの第１の連結成分を取得する段階Ｓ５０２は、以下の方式で実施されてよい。

【0162】

Ｂ１．第１のグレースケール画像の二値画像に対して拡大及び／又は腐食処理を実行する。

【0163】

Ｂ２．拡大及び／又は腐食処理を受けた二値画像内の少なくとも１つの第１の連結成分を取得する。

【0164】

図５Ｂに示されるように、例として毛穴のＲＯＩを用いて、ホワイト領域がハイライト領域に位置決めされる。具体的には、鼻の頭及び右側の頬のみがハイライト領域を含み、他の領域は非ハイライト領域である。

【0165】

可能な実施例では、段階Ｓ３０３において、ハイライト領域の第１のセグメンテーション閾値を判定する段階は、図６Ａに示されるように、以下の方式で実施されてよい。

【0166】

Ｓ６０１ａ．関心のある領域に対して第４のグレースケール処理を実行して、第４のグレースケール画像を取得する。

【0167】

Ｓ６０２ａ．第４のグレースケール画像内のハイライト領域に含まれるｉ番目のピクセル及びｉ番目のピクセルのＮ個の隣接するピクセルの最小のグレースケール値を取得し、ｉは、Ｍ１より小さい又はこれに等しいすべての正の整数をとり、Ｍ１は、ハイライト領域に含まれるピクセルの数であり、Ｎは、４の倍数に等しく、特に、４つの隣接及び８個の隣接、１６個の隣接などがサポートされる。

【0168】

図７Ａに示されるように、ピクセルｐ（ｘ、ｙ）の４つの隣接するピクセルは、（ｘ＋１、ｙ）、（ｘ−１、ｙ）、（ｘ−１、ｙ＋１）及び（ｘ、ｙ＋１）を含む。図７Ｂに示されるように、ピクセルｐ（ｘ、ｙ）の８個の隣接するピクセルは、（ｘ＋１、ｙ）、（ｘ−１、ｙ）、（ｘ、ｙ＋１）、（ｘ＋１、ｙ＋１）、（ｘ＋１、ｙ−１）、（ｘ−１、ｙ＋１）及び（ｘ−１,ｙ−１）を含む。

【0169】

Ｓ６０３ａ．Ｍ１個の取得した最小のグレースケール値の平均値を第１のセグメンテーション閾値として用いる。

【0170】

可能な実施例では、段階Ｓ３０３において、非ハイライト領域の第１のセグメンテーション閾値を判定する段階は、図６Ｂに示されるような方式で実施されてよい。

【0171】

Ｓ６０１ｂ．関心のある領域に対して第４のグレースケール処理を実行して、第４のグレースケール画像を取得する。

【0172】

Ｓ６０２ｂ．第４のグレースケール画像内の非ハイライト領域に含まれるｊ番目のピクセル及びｊ番目のピクセルのＮ個の隣接するピクセルのうちの最小のグレースケール値を取得し、ｊは、Ｍ２より小さい又はこれに等しいすべての正の整数をとり、Ｍ２は、非ハイライト領域に含まれるピクセルの数である。

【0173】

Ｓ６０３ｂ．Ｍ２個の取得した最小のグレースケール値の平均値を第２のセグメンテーション閾値として用いる。

【0174】

可能な実施例では、関心のある領域に対して第４のグレースケール処理を実行する段階は、図８Ａに示されるように、以下の段階を含んでよい。

【0175】

Ｓ８０１．関心のある領域に対してグレースケール変換を実行して、第２のグレースケール画像を取得する。

【0176】

Ｓ８０２．第２のグレースケール画像に対して最小−最大正規化を実行する、すなわち、第２のグレースケール画像のピクセルを［０、２５５］に正規化する。

【0177】

Ｓ８０３．最小−最大正規化を受けた第２のグレースケール画像に対してガウス差分フィルタリングを実行して、フィルタリングされた画像を取得する。すなわち、最小−最大正規化を受けた第２のグレースケール画像に対して、２回の異なる程度のガウスフィルタリングを実行し、差を計算して、ガウス差分フィルタリング後に取得したフィルタリングされた画像を取得する。

【0178】

ガウス差分フィルタリングを通じて、第２のグレースケール画像内の毛穴又は毛穴の黒ずみを際立たせることができる。

【0179】

Ｓ８０４．フィルタリングされた画像に対して最小−最大正規化を実行する。

【0180】

Ｓ８０５．最小−最大正規化を受けたフィルタリングされた画像のヒストグラムを取得し、フィルタリングされた画像のヒストグラムに基づいて、フィルタリングされた画像内の第１タイプのピクセルのグレースケール値を０に設定し、フィルタリングされた画像内の第２タイプのピクセルのグレースケール値を２５５に設定する。

【0181】

第１タイプのピクセルのグレースケール値は、フィルタリングされた画像内の他のピクセルの最小グレースケール値よりも小さい又はこれに等しく、フィルタリングされた画像内のピクセルの総数における第１タイプのピクセルの数のパーセンテージはａ％であり、第２タイプのピクセルのグレースケール値は、フィルタリングされた画像内の他のピクセルの最大グレースケール値より大きい又はこれに等しく、フィルタリングされた画像内のピクセルの総数における第２タイプのピクセルの数のパーセンテージはｂ％であり、ａ及びｂは両方とも正の整数である。他のピクセルは、第１タイプのピクセル及び第２タイプのピクセル以外のフィルタリングされた画像に含まれるピクセルである。

【0182】

画像内の第１タイプのピクセル及び第２タイプのピクセルは、例として、図８Ｂに示されるヒストグラムを用いることにより説明される。例えば、画像内のピクセルの総数は１０００であり、ａ及びｂの両方とも２である。第１タイプのピクセルは、グレースケール値が０である１つのピクセル、グレースケール値が１である２つのピクセル、グレースケール値が２である３つのピクセル、グレースケール値が３である１０個のピクセル、及び、グレースケール値が４である４つのピクセルを含む。グレースケール値が４である６つのピクセルがある。そのため、６つのピクセルから任意の４つのピクセルが第１タイプのピクセルとして選択されてよい。他のピクセルの最小のグレースケール値は４であり、第１タイプのピクセルのグレースケール値はすべて４より小さい又はこれに等しい。第２タイプのピクセルは、グレースケール値が２５５である１つのピクセル、グレースケール値が２５４である１２個のピクセル、グレースケール値が２５３である７個のピクセルを含む。他のピクセルの最大グレースケール値は２５２であり、第２タイプのピクセルのグレースケール値はすべて２５２より大きい。

【0183】

発明者は、本願に関する研究を行ったときに、ノーズシャドウ領域における毛穴又は毛穴の黒ずみの誤検出が頻繁に発生することを発見した。誤検出の割合を減らすために、ノーズシャドウ領域が位置決めされてよく、ノーズシャドウ領域は、毛穴の黒ずみ及び毛穴が判定される前に関心のある領域から除去されてよい。これを考慮して、融合した画像に基づいて、関心のある領域に含まれる毛穴及び／又は毛穴の黒ずみが識別された場合、ノーズシャドウ領域は、融合した画像から除去されてよく、ノーズシャドウ領域が除去された融合した画像に基づいて、関心のある領域に含まれる毛穴及び／又は毛穴の黒ずみが判定される。

【0184】

実現可能な例では、ノーズシャドウ領域は、図９に示されるような方式で位置決めされてよい。

【0185】

Ｓ９０１．関心のある領域に対して第４のグレースケール処理を実行して、第４のグレースケール画像を取得し、第４のグレースケール画像に対して二値化処理を実行して、第４のグレースケール画像の二値画像を取得する。関心のある領域に対して第４のグレースケール処理を実行する処理については、図８Ａについての上述した説明を参照されたい。ここで再び詳細が説明されることはない。

【0186】

Ｓ９０２．第４のグレースケール画像の二値画像に対して連結成分分析を実行して、少なくとも１つの第２の連結成分を取得する。

【0187】

オプションで、第４のグレースケール画像の二値画像に対して連結成分分析を実行して、少なくとも１つの第２の連結成分を取得する段階Ｓ９０２は、第４のグレースケール画像の二値画像に対して拡大及び／又は腐食処理を実行して、第４のグレースケール画像の、拡大及び／又は腐食処理を受けた二値画像における少なくとも１つの第２の連結成分を取得する段階を含んでよい。例えば、第４のグレースケール画像の二値画像に対して、拡大前の腐食処理又は腐食前の拡大が実行されてよい。

【0188】

Ｓ９０３．少なくとも１つの第２の連結成分のうちの、エリアが第２の予め設定された閾値よりも小さい連結成分を取り除いてノーズシャドウ領域を取得する。

【0189】

可能な実施例において、第１のセグメンテーション閾値に基づいて、ハイライト領域の二値画像を取得し、第２のセグメンテーション閾値に基づいて、非ハイライト領域の二値画像を取得するＳ３０４は、
関心のある領域に対して第４のグレースケール処理を実行して、第４のグレースケール画像を取得し、第１のセグメンテーション閾値に基づいて第４のグレースケール画像内の対応するハイライト領域に対して二値化処理を実行して、ハイライト領域の二値画像を取得し、第２のセグメンテーション閾値に基づいて、第４のグレースケール画像内の対応する非ハイライト領域に対して二値化処理を実行して、非ハイライト領域の二値画像を取得するという態様で実施されてよい。

【0190】

ハイライト領域のセグメンテーション閾値及び非ハイライト領域のセグメンテーション閾値を判定し、ノーズシャドウ領域を位置決めし、及び、ハイライト領域の二値画像及び非ハイライト領域の二値画像を取得している間に、第４のグレースケール画像を取得するために、関心のある領域に対して第４のグレースケール処理が実行されてよいことに留意すべきである。このオペレーションは、本願の本実施形態において１度のみ実行されてよく、第４のグレースケール画像は、バッファされ、必要なときにバッファからフェッチされる。

【0191】

可能な実施例において、融合した画像に基づいて、関心のある領域に含まれる毛穴及び／又は毛穴の黒ずみを識別する段階Ｓ３０６は、以下の方式で実施されてよい。

【0192】

Ｄ１．融合した画像に含まれる少なくとも１つの第３の連結成分を取得し、それぞれの第３の連結成分に対応するパラメータを取得し、パラメータは、半径、円形度及び内部−外部の色バリエーション値のうちの少なくとも１つを含み、円形度は、第３の連結成分の形状と円との間の類似度を表すために用いられる。

【0193】

ノーズシャドウ領域を除去するオペレーションの間に、融合した画像に基づいて、関心のある領域に含まれる毛穴及び／又は毛穴の黒ずみを識別する段階は、ノーズシャドウ領域が除去された融合した画像に含まれる少なくとも１つの第３の連結成分を取得する段階を含むことに留意すべきである。

【0194】

融合した画像に対して連結成分分析が実行され、半径、円形度又は内部−外部の色バリエーション値のそれぞれの第３の連結成分が計算及び記録される。

【0195】

例えば、Ｏ_ｉは、ｉ番目の第３の連結成分の円形度を表し、Ｏ_ｉ＝４π×領域／周長^２である。第３の連結成分の形状は、より円に近い形状であり、Ｏ_ｉは１に近づく。式において、エリアは、第３の連結成分のエリアであり、周長は第３の連結成分の周長である。

【0196】

例えば、ｉ番目の第３の連結成分の内部−外部の色バリエーション値は、V_ｉで表される。

【0197】

第３の連結成分の内部−外部の色バリエーション値は、以下の方式に限定されることなく、以下の方式で判定されてよい。

【0198】

第１の可能な実施例は以下のとおりである。

【0199】

ｉ番目の第３の連結成分について、オリジナルのＲＯＩ画像における第３の連結成分、それぞれ、３つのチャネルＲ、Ｇ及びＢにおけるすべての対応するピクセルの最小値（又は、平均値）がまず計算され、Ｉｎ＿Ｒ、Ｉｎ＿Ｇ及びＩｎ＿Ｂとして示される。そして、ｉ番目の第３の連結成分は、１つの円（又は、Ｎ個の円）により外側に拡大され、３つのチャネルＲ、Ｇ及びＢにおけるそれぞれにおける１つの円（又は、Ｎ個の円）内のピクセルの平均値が計算され、Ｏｕｔ＿Ｒ、Ｏｕｔ＿Ｇ及びＯｕｔ＿Ｂとして示される。図１０における図を例として用いると、最も内側にある矩形が連結成分を表す。連結成分が１つの円により拡大される場合、矩形の中心によりカバーされるピクセルの平均値は、チャネルＲ、Ｇ及びＢのそれぞれにおいて、計算されてよい。２つの円により連結成分が拡大された場合、チャネルＲ、Ｇ及びＢのそれぞれにおける最も外側の円にある矩形によりカバーされるピクセルの平均値が計算されてよい。最後に、ｉ番目の第３の連結成分について、（Ｏｕｔ＿Ｒ−Ｉｎ＿Ｒ）＋（Ｏｕｔ＿Ｇ−Ｉｎ＿Ｇ）＋（Ｏｕｔ＿Ｂ−Ｉｎ＿Ｂ）の値が計算され、連結成分の内部−外部の色バリエーション値として、すなわち、Ｖ_ｉ＝（Ｏｕｔ＿Ｒ−Ｉｎ＿Ｒ）＋（Ｏｕｔ＿Ｇ−Ｉｎ＿Ｇ）＋（Ｏｕｔ＿Ｂ−Ｉｎ＿Ｂ）として用いられる。

【0200】

第２の可能な実施例は以下のとおりである。

【0201】

３つのチャネルにおける第３の連結成分の内部から外部の色の割合の和は、第３の連結成分の内部−外部の色バリエーション値：Ｖ_ｉ＝（Ｉｎ＿Ｒ／Ｏｕｔ＿Ｒ）＋（Ｉｎ＿Ｇ／Ｏｕｔ＿Ｇ）＋（Ｉｎ＿Ｂ／Ｏｕｔ＿Ｂ）として用いられる。

【0202】

第３の可能な実施例は以下のとおりである。

【0203】

（ＲＯＩに対応する第２のグレースケール画像又は第４のグレースケール画像であってよい）ＲＯＩのグレースケール画像内の、それぞれの第３の連結成分に対応するすべてのピクセルについてのグレースケール値の最小値（又は、平均値）が計算され、Ｉｎ＿Ｇｒａｙとして示される。そして、それぞれの第３の連結成分は、１つの円（又は、Ｎ個の円）により外側に拡大され、１つの円（又は、Ｎ個の円）内のピクセルのグレースケール値の平均値が計算され、Ｏｕｔ＿Ｇｒａｙとして示される。（Ｏｕｔ＿Ｇｒａｙ−Ｉｎ＿Ｇｒａｙ）が計算され、第３の連結成分の内部−外部の色バリエーション値として、すなわち、Ｖ_ｉ＝（Ｏｕｔ＿Ｇｒａｙ−Ｉｎ＿Ｇｒａｙ）として用いられる。

【0204】

第４の可能な実施例は以下のとおりである。

【0205】

ＲＯＩのグレースケール画像の内部から外部の色の割合は、Ｉｎ＿Ｇｒａｙ／Ｏｕｔ＿Ｇｒａｙとして計算され、第３の連結成分の内部−外部の色バリエーション値、すなわち、Ｖ_ｉ＝Ｉｎ＿Ｇｒａｙ／Ｏｕｔ＿Ｇｒａｙとして用いられる。

【0206】

Ｄ２．それぞれの第３の連結成分に対応するパラメータに基づいて、第３の連結成分に対応する位置が毛穴又は毛穴の黒ずみであるかを識別する。

【0207】

上述した連結成分分析及びさまざまなインジケータの計算に基づいた、効果的な毛穴／毛穴の黒ずみの判定、すなわち、毛穴が検出され、条件１を満たす第３の連結成分が毛穴として判定され、毛穴の黒ずみが検出され、条件２を満たす第３の連結成分が毛穴の黒ずみとして判定される。例えば、条件１は以下のとおりであってよい。半径は、［Ａ１、Ｂ１］の範囲内であり、内部−外部の色バリエーション値は、Ｃ１より大きく、円形度は、Ｄ１より大きい。条件２は以下のとおりであってよい。半径は、［Ａ２、Ｂ２］の範囲内にあり、内部−外部の色バリエーション値は、Ｃ２より大きく、円形度は、Ｄ２より大きい。

【0208】

ＲＯＩに含まれる毛穴又は毛穴の黒ずみが識別された後に、毛穴又は毛穴の黒ずみの量子化されたスコアが計算されてよい。

【0209】

例えば、毛穴の量子化されたスコアは、以下の方式で判定されてよい。識別された毛穴に対応する画像を処理して、量子化された毛穴インジケータを取得し、量子化された毛穴インジケータに基づいて、関心のある領域の量子化された毛穴スコアを計算し、量子化された毛穴スコアを表示する。

【0210】

量子化された毛穴インジケータは、毛穴エリアの割合、毛穴密度、平均の毛穴の内部−外部の色バリエーション値、及び、毛穴の内部−外部の色バリエーション値−重み付けされたエリアの割合のうちの少なくとも１つを含む。

【0211】

毛穴エリアの割合は、ＲＯＩのエリアに対する関心のある領域に含まれ毛穴の総面積の割合である。すなわち、

【数1】

である。 式において、

【数2】

は、毛穴エリアの割合を表し、

【数3】

は、ｊ番目の毛穴のエリアを表し、ＰＯ１は、ＲＯＩのエリアを表し、ｎ１は、毛穴の数を表す。

【0212】

毛穴密度は、関心のある領域のエリアに対する関心のある領域に含まれる毛穴の数の割合である。すなわち、

【数4】

であり、

【数5】

は、毛穴密度を表す。

【0213】

平均の毛穴の内部−外部の色バリエーション値は、関心のある領域に含まれる毛穴の内部−外部の色バリエーション値の平均値である。すなわち、

【数6】

であり、

【数7】

は、平均の毛穴の内部−外部の色バリエーション値を表し、

【数8】

は、ｊ番目の毛穴の内部−外部の色バリエーション値を表す。

【0214】

毛穴の内部−外部の色バリエーション値を判定する方式については、連結成分の内部−外部の色バリエーション値を計算するための方式の説明を参照されたい。

【0215】

毛穴の内部−外部の色バリエーション値−重み付けされたエリアの割合は、関心のある領域に含まれる各毛穴の内部−外部の色バリエーション値に対応するエリアを乗算することにより取得されたすべての値を加算することにより取得される和の、関心のある領域のエリアに対する割合である。すなわち、

【数9】

であり、

【数10】

毛穴の内部−外部の色バリエーション値−重み付けされたエリアの割合を表す。

【0216】

例えば、

【数11】

であり、ｗ１からｗ５は、重み値である。

【0217】

例えば、毛穴の黒ずみの量子化されたスコアは、以下の方式で判定されてよい。
識別された毛穴の黒ずみに対応する画像を処理して、量子化された毛穴の黒ずみインジケータを取得し、量子化された毛穴の黒ずみインジケータに基づいて、関心のある領域の量子化された毛穴の黒ずみスコアを計算する。

【0218】

量子化された毛穴の黒ずみインジケータは、毛穴の黒ずみエリアの割合、毛穴の黒ずみの密度、平均の毛穴の黒ずみの内部−外部の色バリエーション値、及び、毛穴の黒ずみの内部−外部の色バリエーション値−重み付けされたエリアの割合のうちの少なくとも１つを含む。

【0219】

毛穴の黒ずみエリアの割合は、ＲＯＩのエリアに対する関心のある領域に含まれる毛穴の黒ずみの総面積の割合である。すなわち、

【数12】

であり、

【数13】

は、毛穴の黒ずみエリアの割合を表し、

【数14】

は、ｋ番目の毛穴の黒ずみのエリアを表し、ＰＯ１は、ＲＯＩのエリアを表し、ｎ２は、毛穴の黒ずみの数を表す。

【0220】

毛穴の黒ずみの密度は、関心のある領域のエリアに対する関心のある領域に含まれる毛穴の黒ずみの数の割合である。すなわち、

【数15】

であり、

【数16】

は、毛穴の黒ずみの密度を表す。

【0221】

平均の毛穴の黒ずみの内部−外部の色バリエーション値は、関心のある領域に含まれる毛穴の黒ずみの内部−外部の色バリエーション値の平均値である。すなわち、

【数17】

であり、

【数18】

は、平均の毛穴の黒ずみの内部−外部の色バリエーション値を表し、

【数19】

ｋ番目の毛穴の黒ずみの内部−外部の色バリエーション値を表す。

【0222】

毛穴の黒ずみの内部−外部の色バリエーション値を判定するための方式については、連結成分の内部−外部の色バリエーション値を計算するための方式の説明を参照されたい。

【0223】

毛穴の黒ずみの内部−外部の色バリエーション値−重み付けされたエリアの割合は、関心のある領域に含まれる各毛穴の黒ずみの内部−外部の色バリエーション値に、対応するエリアを乗算することにより取得されたすべての値を加算することにより取得される和の、関心のある領域のエリアに対する割合である。すなわち、

【数20】

であり、

【数21】

は、毛穴の黒ずみの内部−外部の色バリエーション値−重み付けされたエリアの割合を表す。

【0224】

例えば、

【数22】

であり、ｙ１からｙ５は、重み値である。

【0225】

以下では、図１１に示されるような毛穴の検出を例として用いることにより、肌検出処理を説明する。

【0226】

例えば、図１２Ａに示されるように、画像を取得し、毛穴のＲＯＩを取得する。図１２Ｂに示されるように、ＲＯＩに対してグレースケール前処理を実行し、毛穴のＲＯＩに対して第４のグレースケール処理を実行して、毛穴のＲＯＩの第４のグレースケール画像を取得する。これは、図８Ａに示される処理を用いることにより実施されてよい。毛穴のＲＯＩのハイライト領域を位置決めする、すなわち、ハイライト領域マスク、例えば、図１２Ｃに示されるハイライト領域を取得する。これは、図５Ａに示される処理を用いることにより実施されてよい。毛穴のＲＯＩの非ハイライト領域を位置決めする。毛穴のＲＯＩに対応する第４のグレースケール画像に基づいて、ハイライト領域の第１のセグメンテーション閾値を判定し、非ハイライト領域の第２のセグメンテーション閾値を判定する。これは、図６Ａ及び図６Ｂに示される処理を用いることにより実施されてよい。第１のセグメンテーション閾値に基づいて、毛穴のＲＯＩに対応する第４のグレースケール画像に対して二値化処理を実行して、図１２Ｄに示されるようなハイライト領域の二値画像を取得する。第２のセグメンテーション閾値に基づいて、毛穴のＲＯＩの第４のグレースケール画像に対して二値化処理を実行して、図１２Ｅに示されるような非ハイライト領域の二値画像を取得する。ハイライト領域の二値画像と非ハイライト領域の二値画像とを融合して、図１２Ｆに示されるような融合した画像を取得する。毛穴のＲＯＩに対応する第４のグレースケール画像に基づいて、ノーズシャドウ領域を位置決めして、図１２Ｇに示されるようなノーズシャドウ領域を取得する。ノーズシャドウ領域が除去された融合した画像を取得し、ノーズシャドウ領域が除去された融合した画像内のＲＯＩに含まれる毛穴に基づいて、毛穴の量子化されたスコアを判定する。

【0227】

図１３Ａ、図１３Ｂ及び図１３Ｃは、毛穴の検出結果についての３つの例を示す。図１４は、毛穴の黒ずみの検出結果の４つの例を示す。

【0228】

可能な実施例では、例えば、プロセッサ１１０は、本願に係る肌の検出方法を実行する。毛穴及び／又は毛穴の黒ずみを識別し、量子化された毛穴スコア及び量子化された毛穴の黒ずみスコアを判定した後、プロセッサ１１０は、量子化された毛穴スコア及び量子化された毛穴の黒ずみスコアを、ディスプレイスクリーン１９４示されるユーザインタフェースに表示してよい。例えば、図２に示されるように、量子化された毛穴の黒ずみスコア及び量子化された毛穴スコアは、ディスプレイスクリーン１９４に示されるユーザインタフェースに表示される。

【0229】

本願の本実施形態において提供される肌の検出方法を用いることにより、毛穴及び／又は毛穴の黒ずみが検出された後、さらに、検出結果報告がユーザに提供されてよい。検出結果報告は、限定されるものではないが、量子化された毛穴スコア、量子化された毛穴の黒ずみスコア、肌ケア、アドバイス及びグラフィカルな結果などを含んでよい。ユーザの顔画像は、ディスプレイスクリーン１９４に示されるユーザインタフェースに表示されてよく、毛穴の黒ずみ及び毛穴は、異なる表示方式で顔画像上にマーキングされる。検出結果報告は、図１５に示されるユーザインタフェース１５００に示されるレポートであってよい。図２に示される仮想ボタン２０１または２０２をユーザがタップしたことを電子デバイス１００が検出した場合に、ユーザインタフェース１５００の提示がトリガされてよい、又は、ユーザインタフェース上に、量子化された毛穴の黒ずみスコア又は量子化された毛穴スコアが配置されている表示領域をユーザがタップしたことを電子デバイス１００が検出した場合に、トリガされてよい。例として、図２に示されるユーザインタフェース２００を用いて、ディスプレイスクリーン１９４上でエントリ「毛穴の黒ずみ６９ポイント」が配置されている表示領域をユーザがタップしたことを電子デバイス１００が検出した場合に、ユーザインタフェース１５００の表示がトリガされる。もちろん、ユーザインタフェース１５００の提示は、代わりに、別の方式でトリガされてよい。ユーザインタフェース１２００の提示をトリガするための方式は、本願の本実施形態において特に限定されるものではない。

【0230】

上述された実施形態は、組み合わせて用いられてよい、又は、独立して用いられてよい。

【0231】

本願において提供される上述された実施形態において、本願の本実施形態において提供される方法は、電子デバイスが実行主体であるという観点から説明されている。本願の本実施形態において提供される方法における機能を実装するために、電子デバイスは、ハードウェア構造及び／又はソフトウェアモジュールを含み、ハードウェア構造、ソフトウェアモジュール、又は、ハードウェア構造とソフトウェアモジュールとの組み合わせの形式で上述の機能を実装してよい。上述の機能の特定の機能がハードウェア構造、ソフトウェアモジュール、又は、ハードウェア構造とソフトウェアモジュールとの組み合わせの方式で実装されるかは、特定のアプリケーション、及び、技術的な解決手段の設計制約条件に依存する。

【0232】

同一の概念に基づいて、図１６は、本願に係る電子デバイス１６００を示す。例えば、電子デバイス１６００は、少なくとも１つのプロセッサ１６１０及びメモリ１６２０を含み、さらに、ディスプレイスクリーン１６３０及びカメラ１６４０を含んでよい。プロセッサ１６１０は、メモリ１６２０に連結され、ディスプレイスクリーン１６３０は、カメラ１６４０に連結される。本願の本実施形態において、連結は、装置、ユニット又はモジュール間の間接的な連結又は通信接続である。連結は、電気的、機械的又は他の形式であってよく、装置、ユニット又はモジュール間で情報をやり取りするために用いられる。

【0233】

具体的には、メモリ１６２０は、プログラム命令を格納するように構成され、カメラ１６４０は、画像を取り込むように構成され、ディスプレイスクリーン１６３０は、カメラ１６４０が撮影を開始した場合、撮影プレビューインタフェースを表示するように構成され、撮影プレビューインタフェースは、カメラ１６４０により収集された画像を含む。ディスプレイスクリーン１６３０は、さらに、上述された実施形態において言及されたユーザインタフェース、例えば、図２に示されるユーザインタフェース、図４Ａに示されるインタフェース、図１０に示されるユーザインタフェース、図１１に示されるユーザインタフェース、及び、図１２に示されるユーザインタフェースを表示するように構成されてよい。プロセッサ１６１０は、メモリ１６２０に格納されているプログラム命令を呼び出して実行し、図３Ａに示される肌の検出方法における段階を実行するように構成される。

【0234】

電子デバイス１６００は、本願の実施形態に係る図３Ａに示される肌の検出方法を実施するように構成され得ることを理解されたい。関連する特徴については、上述した説明を参照されたい。ここで再び詳細が説明されることはない。

【0235】

当業者であれば、本願の実施形態は、ハードウェア、ファームウェア又はこれらの組み合わせにより実装され得ることを明確に理解し得る。本発明がソフトウェアにより実装される場合、上述の機能は、コンピュータ可読媒体に格納されてよい、又は、コンピュータ可読媒体内の１つ又は複数の命令又はコードとして伝送されてよい。コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を含み、通信媒体は、コンピュータプログラムがある場所から別の場所へ伝送されることを可能にする任意の媒体を含む。記憶媒体は、コンピュータにアクセス可能な任意の利用可能な媒体であってよい。例として、かつ、限定するものではなく、コンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、電気的消去可能プログラマブルリードオンリメモリ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、ＥＥＰＲＯＭ）、コンパクトディスクリードオンリメモリ（ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ、ＣＤ−ＲＯＭ）又は別のコンパクトディスクメモリ、磁気ディスク記憶媒体又は別の磁気ストレージデバイス、又は、命令又はデータ構造形式を有する予測されるプログラムコードを搬送又は格納するために用いられることができ、コンピュータによりアクセスできる任意の他の媒体を含んでよい。さらに、任意の接続がコンピュータ可読媒体として適宜規定されてよい。例えば、同軸ケーブル、光ファイバ／ケーブル、ツイストペア、デジタル加入者線（ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ、ＤＳＬ）、又は、赤外線、無線及びマイクロ波などの無線技術を使用して、ソフトウェアがウェブサイト、サーバ、又は別のリモートソースから送信された場合、同軸ケーブル、光ファイバ／ケーブル、ツイストペア、ＤＳＬ、又は、赤外線、無線、及びマイクロ波などの無線技術は、それらが属する媒体の固定に含まれる。本願の実施形態により用いられるディスク（ｄｉｓｋ）及びディスク（ｄｉｓｃ）は、コンパクトディスク（ｃｏｍｐａｃｔ ｄｉｓｃ、ＣＤ）、レーザディスク、光ディスク、デジタルビデオディスク（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｃ、ＤＶＤ）、フロッピディスク及びＢｌｕ−ｒａｙ（登録商標）ディスクを含み、ｄｉｓｋは、概して、磁気手段によりデータをコピーし、ｄｉｓｃは、レーザ手段により光学的にデータをコピーする。上述した組み合わせはまた、コンピュータ可読媒体の保護範囲に含まれるべきである。

【0236】

要約すると、上述したものは、本願の実施形態に過ぎず、本願の保護範囲を制限することを目的としたものではない。本願の開示に基づいた任意の修正、同等の置換、改良は、本願の保護範囲に含まれるものとする。
［項目１］
肌の検出方法であって、
顔画像の関心のある領域を取得する段階と、
上記関心のある領域をハイライト領域と非ハイライト領域とに分割する段階と、
上記ハイライト領域の第１のセグメンテーション閾値及び上記非ハイライト領域の第２のセグメンテーション閾値を別々に判定する段階と、
上記第１のセグメンテーション閾値に基づいて、上記ハイライト領域の二値画像を取得し、上記第２のセグメンテーション閾値に基づいて、上記非ハイライト領域の二値画像を取得する段階と、
上記ハイライト領域の上記二値画像と上記非ハイライト領域の上記二値画像とを融合する段階と、
融合した画像に基づいて、上記関心のある領域に含まれる毛穴及び／又は毛穴の黒ずみを識別する段階と
を備える方法。
［項目２］
上記関心のある領域をハイライト領域と非ハイライト領域とに分割する上記段階は、
上記関心のある領域に対して第１のグレースケール処理を実行して、第１のグレースケール画像を取得する段階と、
上記第１のグレースケール画像に対して二値化処理を実行して、上記第１のグレースケール画像の二値画像を取得する段階と、
上記第１のグレースケール画像の上記二値画像に対して連結成分分析を実行して、少なくとも１つの第１の連結成分を取得する段階と、
上記少なくとも１つの第１の連結成分のうちの、エリアが第１の予め設定された閾値より小さい連結成分を取り除いて、上記ハイライト領域を取得する段階と
を有し、
上記関心のある領域内の上記ハイライト領域以外の領域は、上記非ハイライト領域である、項目１に記載の方法。
［項目３］
上記関心のある領域に対して第１のグレースケール処理を実行して、第１のグレースケール画像を取得する上記段階は、
上記関心のある領域に含まれるｋ番目のピクセルのピクセル値に、上記ｋ番目のピクセルに対応する重み値を乗算する段階であって、上記ｋ番目のピクセルに対応する上記重み値は、上記関心のある領域の第２のグレースケール画像内の上記ｋ番目のピクセルの対応するグレースケール値に基づいて判定され、上記関心のある領域の上記第２のグレースケール画像は、上記関心のある領域に対してグレースケール変換を実行することにより取得され、ｋは、Ｌより小さいすべての正の整数をとり、Ｌは、上記関心のある領域に含まれるピクセルの数である、段階と、
上記関心のある領域に含まれる各ピクセルに対応する重み値を乗算することにより取得された画像に対してグレースケール変換を実行して、第３のグレースケール画像を取得する段階と、
上記変換を通じて取得された上記第３のグレースケール画像に対して最小−最大正規化を実行する段階と、
上記最小−最大正規化を通じて取得された上記第３のグレースケール画像に対してグレースケール反転処理を実行して、上記第１のグレースケール画像を取得する段階と
を有する、項目２に記載の方法。
［項目４］
上記第１のグレースケール画像の上記二値画像に対して連結成分分析を実行して、少なくとも１つの第１の連結成分を取得する上記段階は、
上記第１のグレースケール画像の上記二値画像に対して拡大及び／又は腐食処理を実行する段階と、
上記拡大及び／又は腐食処理を受けた上記二値画像における少なくとも１つの第１の連結成分を取得する段階と
を含む、項目２又は３に記載の方法。
［項目５］
上記ハイライト領域の第１のセグメンテーション閾値を判定する上記段階は、
上記関心のある領域に対して第４のグレースケール処理を実行して、第４のグレースケール画像を取得し、上記第４のグレースケール画像内の上記ハイライト領域に含まれるｉ番目のピクセルと、上記ｉ番目のピクセルのＮ個の隣接するピクセルとのうちの最小のグレースケール値を取得する段階であって、ｉは、Ｍ１より小さい又はこれに等しいすべての正の整数をとり、Ｍ１は、上記ハイライト領域に含まれるピクセルの数であり、Ｎは、４の倍数に等しい、段階と、Ｍ１個の取得した最小のグレースケール値の平均値を上記第１のセグメンテーション閾値として用いる段階とを有する、項目１から４いずれか一項に記載の方法。
［項目６］
上記非ハイライト領域の第２のセグメンテーション閾値を判定する上記段階は、
上記関心のある領域に対して第４のグレースケール処理を実行して、第４のグレースケール画像を取得し、上記第４のグレースケール画像内の上記非ハイライト領域に含まれるｊ番目のピクセルと、上記ｊ番目のピクセルのＮ個の隣接するピクセルとの最小のグレースケール値を取得する段階であって、ｊは、Ｍ２より小さい又はこれに等しいすべての正の整数をとり、Ｍ２は、上記非ハイライト領域に含まれるピクセルの数である、段階と、Ｍ２個の取得した最小のグレースケール値の平均値を上記第２のセグメンテーション閾値として用いる段階とを有する、項目１から４のいずれか一項に記載の方法。
［項目７］
融合した画像に基づいて、上記関心のある領域に含まれる毛穴及び／又は毛穴の黒ずみを識別する上記段階は、
上記融合した画像に対して腐食及び／又は拡大処理を実行する段階と、
上記腐食及び／又は拡大処理を受けた上記融合した画像に基づいて、上記関心のある領域に含まれる上記毛穴及び／又は上記毛穴の黒ずみを識別する段階と
を有する、項目１から６のいずれか一項に記載の方法。
［項目８］
融合した画像に基づいて、上記関心のある領域に含まれる毛穴及び／又は毛穴の黒ずみを識別する上記段階は
上記融合した画像からノーズシャドウ領域を除去する段階と、上記ノーズシャドウ領域が除去された上記融合した画像に基づいて、上記関心のある領域に含まれる上記毛穴及び／又は上記毛穴の黒ずみを判定する段階とを有する、項目１から７のいずれか一項に記載の方法。
［項目９］
上記ノーズシャドウ領域は、
上記関心のある領域に対して第４のグレースケール処理を実行して、第４のグレースケール画像を取得し、上記第４のグレースケール画像に対して二値化処理を実行して、上記第４のグレースケール画像の二値画像を取得し、
上記第４のグレースケール画像の上記二値画像に対して連結成分分析を実行して、少なくとも１つの第２の連結成分を取得し、
上記少なくとも１つの第２の連結成分の、エリアが第２の予め設定された閾値よりも小さい連結成分を取り除いて、上記ノーズシャドウ領域を取得する
方式で位置決めされる、項目８に記載の方法。
［項目１０］
上記第４のグレースケール画像の上記二値画像に対して連結成分分析を実行して、少なくとも１つの第２の連結成分を取得する上記段階は、
上記第４のグレースケール画像の上記二値画像に対して拡大及び／又は腐食処理を実行する段階と、
上記第４のグレースケール画像の、上記拡大及び／又は腐食処理を受けた上記二値画像における少なくとも１つの第２の連結成分を取得する段階と
を含む、項目９に記載の方法。
［項目１１］
上記関心のある領域に対して第４のグレースケール処理を実行して、第４のグレースケール画像を取得する上記段階は、
上記関心のある領域に対してグレースケール変換を実行して、上記第２のグレースケール画像を取得する段階と、
上記第２のグレースケール画像に対して最小−最大正規化を実行する段階と、
上記最小−最大正規化を受けた上記第２のグレースケール画像に対してガウス差分フィルタリングを実行して、フィルタリングされた画像を取得する段階と、
上記フィルタリングされた画像に対して最小−最大正規化を実行する段階と、
上記最小−最大正規化を受けた上記フィルタリングされた画像のヒストグラムを取得し、上記フィルタリングされた画像の上記ヒストグラムに基づいて、上記フィルタリングされた画像内の第１タイプのピクセルのグレースケール値を０に設定し、上記フィルタリングされた画像内の第２タイプのピクセルのグレースケール値を２５５に設定する段階と
を含み、
上記第１タイプのピクセルの上記グレースケール値は、上記フィルタリングされた画像内の他のピクセルの最小グレースケール値よりも小さい又はこれに等しく、上記フィルタリングされた画像内のピクセルの総数における上記第１タイプのピクセルの数のパーセンテージはａ％であり、上記第２タイプのピクセルのグレースケール値は、上記フィルタリングされた画像内の他のピクセルの最大グレースケール値より大きい又はこれに等しく、上記フィルタリングされた画像内の上記ピクセルの総数における上記第２タイプのピクセルの数のパーセンテージはｂ％であり、ａ及びｂは両方とも正の整数である、項目５、６及び９のいずれか一項に記載の方法。
［項目１２］
融合した画像に基づいて、上記関心のある領域に含まれる毛穴及び／又は毛穴の黒ずみを識別する上記段階は、
上記融合した画像に含まれる少なくとも１つの第３の連結成分を取得し、それぞれの第３の連結成分に対応するパラメータを取得する段階であって、上記パラメータは、半径、円形度及び内部−外部の色バリエーション値のうちの少なくとも１つを有する、段階と、
それぞれの第３の連結成分に対応する上記パラメータに基づいて、上記第３の連結成分に対応する位置が毛穴又は毛穴の黒ずみであるかを識別する段階と
を含み、
上記円形度は、上記第３の連結成分の形状と円との間の類似度を表すために用いられ、上記内部−外部の色バリエーション値は、上記関心のある領域の位置で上記第３の連結成分に対応する内部ピクセル値と外部ピクセル値との間の差分又は割合である、項目１から１１のいずれか一項に記載の方法。
［項目１３］
上記方法は、さらに、
識別された毛穴に対応する画像を処理して、量子化された毛穴インジケータを取得する段階と、上記量子化された毛穴インジケータに基づいて、上記関心のある領域の量子化された毛穴スコアを計算する段階と、上記量子化された毛穴スコアを表示する段階とを備え、
上記量子化された毛穴インジケータは、毛穴エリアの割合、毛穴密度、平均の毛穴の内部−外部の色バリエーション値、及び、毛穴の内部−外部の色バリエーション値−重み付けされたエリアの割合のうちの少なくとも１つを有し、
上記毛穴エリアの割合は、上記関心のある領域のエリアに対する上記関心のある領域に含まれる毛穴の総面積の割合であり、上記毛穴密度は、上記関心のある領域の上記エリアに対する上記関心のある領域に含まれる毛穴の数の割合であり、上記平均の毛穴の内部−外部の色バリエーション値は、上記関心のある領域に含まれる上記毛穴の内部−外部の色バリエーション値の平均値であり、上記毛穴の内部−外部の色バリエーション値−重み付けされたエリアの上記割合は、上記関心のある領域に含まれる各毛穴の内部−外部の色バリエーション値を対応するエリアごとに乗算することにより取得されたすべての値を加算することにより取得された和の、上記関心のある領域の上記エリアに対する割合である、項目１から１２のいずれか一項に記載の方法。
［項目１４］
上記方法は、さらに、
識別された毛穴の黒ずみに対応する画像を処理して、量子化された毛穴の黒ずみインジケータを取得する段階と、上記量子化された毛穴の黒ずみインジケータに基づいて、上記関心のある領域の量子化された毛穴の黒ずみスコアを計算する段階と、上記量子化された毛穴の黒ずみスコアを表示する段階とを備え、
上記量子化された毛穴の黒ずみインジケータは、毛穴の黒ずみエリアの割合、毛穴の黒ずみの密度、平均の毛穴の黒ずみの内部−外部の色バリエーション値、及び、毛穴の黒ずみの内部−外部の色バリエーション値−重み付けされたエリアの割合のうちの少なくとも１つを有し、
上記毛穴の黒ずみエリアの割合は、上記関心のある領域の上記エリアに対する上記関心のある領域に含まれる毛穴の黒ずみの総面積の割合であり、上記毛穴の黒ずみの密度は、上記関心のある領域の上記エリアに対する上記関心のある領域に含まれる毛穴の黒ずみの数の割合であり、上記平均の毛穴の黒ずみの内部−外部の色バリエーション値は、上記関心のある領域に含まれる上記毛穴の黒ずみの内部−外部の色バリエーション値の平均値であり、上記毛穴の黒ずみの内部−外部の色バリエーション値−重み付けされたエリアの上記割合は、上記関心のある領域に含まれる各毛穴の黒ずみの内部−外部の色バリエーション値を対応するエリアごとに乗算することにより取得されたすべての値を加算することにより取得される和の、上記関心のある領域の上記エリアに対する割合である、項目１から１３のいずれか一項に記載の方法。
［項目１５］
プロセッサ及びメモリを備える電子デバイスであって、上記プロセッサは、上記メモリに連結されており、
上記メモリは、プログラム命令を格納するように構成され、
上記プロセッサは、上記メモリに格納されている上記プログラム命令を読み出して、本願の実施形態における項目１から１４のいずれか一項に記載の方法を実施するように構成される、電子デバイス。
［項目１６］
コンピュータ記憶媒体であって、上記コンピュータ記憶媒体は、プログラム命令を格納し、上記プログラム命令が電子デバイス上で動作する場合、上記電子デバイスは、項目１から１４のいずれか一項に記載の方法を実行することが可能である、コンピュータ記憶媒体。
［項目１７］
コンピュータプログラム製品であって、上記コンピュータプログラム製品が電子デバイスで動作する場合、上記電子デバイスは、項目１から１４のいずれか一項に記載の方法を実行することが可能である、コンピュータプログラム製品。
［項目１８］
チップであって、上記チップは、電子デバイス内のメモリに連結されており、上記電子デバイスが項目１から１４のいずれか一項に記載の方法を実行することを可能にする、チップ。

【図1】

【図2】

【図3A】

【図3B-1】

【図3B-2】

【図3B-3】

【図4A】

【図4B】

【図5A】

【図5B】

【図6A】

【図6B】

【図7A】

【図7B】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12A】

【図12B】

【図12C】

【図12D】

【図12E】

【図12F】

【図12G】

【図13A】

【図13B】

【図13C】

【図14】

【図15】

【図16】

【国際調査報告】