特許 7130839 色素検出方法および電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-26

(45)【発行日】2022-09-05

(54)【発明の名称】色素検出方法および電子機器

(51)【国際特許分類】

   A61B 5/00 20060101AFI20220829BHJP

   A61B 10/00 20060101ALI20220829BHJP

【ＦＩ】

A61B5/00 M

A61B10/00 Q

【請求項の数】 11

(21)【出願番号】P 2021502561

(86)(22)【出願日】2018-09-18

(65)【公表番号】

(43)【公表日】2021-11-04

(86)【国際出願番号】 CN2018106216

(87)【国際公開番号】W WO2020015142

(87)【国際公開日】2020-01-23

【審査請求日】2021-02-25

(31)【優先権主張番号】201810776213.1

(32)【優先日】2018-07-16

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】521190370

【氏名又は名称】オーナー・デヴァイス・カンパニー・リミテッド

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133569

【弁理士】

【氏名又は名称】野村 進

(72)【発明者】

【氏名】▲盧▼ 恒惠

【審査官】門田 宏

(56)【参考文献】

【文献】特開２０１６－０８７２７１（ＪＰ，Ａ）

【文献】特開２０１５－０８５０３９（ＪＰ，Ａ）

【文献】特開２０１３－０４３０１７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／００

Ａ６１Ｂ １０／００

(57)【特許請求の範囲】

【請求項1】

色素検出方法であって、前記方法は、
検出対象のRGB皮膚画像から第1の画像を抽出するステップであって、前記第1の画像は前記RGB皮膚画像における内部反射成分を表すために使用され、前記RGB皮膚画像はRGB画像撮影機能を有する機器によって撮影される、ステップと、
色素の第1のスペクトル応答曲線と前記RGB画像撮影機能を有する前記機器の第2のスペクトル応答曲線との間の対応関係に基づいて前記第1の画像のRチャネル、Bチャネル、およびGチャネルから前記色素を抽出するステップと、
前記抽出された色素に基づいて疑似カラー画像を生成し、前記疑似カラー画像を表示するステップと
を含む、色素検出方法であって、
検出対象のRGB皮膚画像から第1の画像を抽出する前記ステップは、
前記検出対象のRGB皮膚画像を第1のLab画像に変換するステップと、
前記第1のLab画像のLチャネル、aチャネル、およびbチャネルの各々から内部反射成分を抽出するステップと、
第2のLab画像を取得するために前記第1のLab画像の前記Lチャネル、前記aチャネル、および前記bチャネルから抽出された前記内部反射成分を合成するステップと、
前記第1の画像を取得するために前記第2のLab画像をRGB画像に変換するステップと
を含む、
方法。

【請求項2】

前記第1のLab画像の前記Lチャネルの前記内部反射成分は、前記第1のLab画像の前記Lチャネルの初期値と前記第1のLab画像の前記Lチャネルの表面反射成分との差であり、前記第1のLab画像の前記aチャネルの前記内部反射成分は、前記第1のLab画像の前記aチャネルの初期値と前記第1のLab画像の前記aチャネルの表面反射成分との差であり、前記第1のLab画像の前記bチャネルの前記内部反射成分は、前記第1のLab画像の前記bチャネルの初期値と前記第1のLab画像の前記bチャネルの表面反射成分との差であり、
前記第1のLab画像の前記Lチャネル、前記aチャネル、および前記bチャネルの前記表面反射成分は、前記第1のLab画像の前記Lチャネル、前記aチャネル、および前記bチャネルの前記初期値に対してフィルタリング処理を別々に行うことによって取得される、請求項1に記載の方法。

【請求項3】

前記第1のLab画像の前記Lチャネル、前記aチャネル、および前記bチャネルの前記表面反射成分が、前記第1のLab画像の前記Lチャネル、前記aチャネル、および前記bチャネルの前記初期値に対してフィルタリング処理を行うことによって取得されることは、
前記第1のLab画像の前記Lチャネル、前記aチャネル、および前記bチャネルの前記表面反射成分が、前記第1のLab画像の前記Lチャネル、前記aチャネル、および前記bチャネルの前記初期値に対してバイラテラルフィルタリング処理を行うことによって取得されること
を含む、請求項2に記載の方法。

【請求項4】

前記色素は、
ヘモグロビン、メラニン、カロテン、リポクローム、および胆汁色素
のうちのいずれか1つを含む、請求項1から3のいずれか一項に記載の方法。

【請求項5】

電子機器であって、前記電子機器は、メモリと、プロセッサと、表示画面とを含み、
前記メモリは、プログラム命令を格納するように構成され、
前記プロセッサは、前記メモリに格納された前記プログラム命令を読み出し、
検出対象のRGB皮膚画像から第1の画像を抽出する動作と、色素の第1のスペクトル応答
曲線とRGB画像撮影機能を有する前記電子機器の第2のスペクトル応答曲線との間の対応関係に基づいて前記第1の画像のRチャネル、Bチャネル、およびGチャネルから前記色素を抽出する動作と、前記抽出された色素に基づいて疑似カラー画像を生成する動作であって、前記第1の画像は前記RGB皮膚画像における内部反射成分を表すために使用され、前記RGB皮膚画像は前記RGB画像撮影機能を有する前記電子機器によって撮影される、動作と
を行うように構成され、
前記表示画面は、前記疑似カラー画像を表示するように構成される、
電子機器であって、
前記プロセッサは、
前記検出対象のRGB皮膚画像を第1のLab画像に変換する動作と、
前記第1のLab画像のLチャネル、aチャネル、およびbチャネルの各々から内部反射成分を抽出する動作と、
第2のLab画像を取得するために前記第1のLab画像の前記Lチャネル、前記aチャネル、および前記bチャネルから抽出された前記内部反射成分を合成する動作と、
前記第1の画像を取得するために前記第2のLab画像をRGB画像に変換する動作と
を行うように特に構成される、
電子機器。

【請求項6】

前記第1のLab画像の前記Lチャネルの前記内部反射成分は、前記第1のLab画像の前記Lチャネルの初期値と前記第1のLab画像の前記Lチャネルの表面反射成分との差であり、前記第1のLab画像の前記aチャネルの前記内部反射成分は、前記第1のLab画像の前記aチャネルの初期値と前記第1のLab画像の前記aチャネルの表面反射成分との差であり、前記第1のLab画像の前記bチャネルの前記内部反射成分は、前記第1のLab画像の前記bチャネルの初期値と前記第1のLab画像の前記bチャネルの表面反射成分との差であり、
前記第1のLab画像の前記Lチャネル、前記aチャネル、および前記bチャネルの前記表面反射成分は、前記第1のLab画像の前記Lチャネル、前記aチャネル、および前記bチャネルの前記初期値に対してフィルタリング処理を行うことによって取得される、請求項5に記載の電子機器。

【請求項7】

前記第1のLab画像の前記Lチャネル、前記aチャネル、および前記bチャネルの前記表面反射成分が、前記第1のLab画像の前記Lチャネル、前記aチャネル、および前記bチャネルの前記初期値に対してフィルタリング処理を行うことによって取得されることは、
前記第1のLab画像の前記Lチャネル、前記aチャネル、および前記bチャネルの前記表面反射成分が、前記第1のLab画像の前記Lチャネル、前記aチャネル、および前記bチャネルの前記初期値に対してバイラテラルフィルタリング処理を行うことによって取得されること
を含む、請求項6に記載の電子機器。

【請求項8】

前記色素は、
ヘモグロビン、メラニン、カロテン、リポクローム、および胆汁色素
のうちのいずれか1つを含む、請求項5から7のいずれか一項に記載の電子機器。

【請求項9】

コンピュータ記憶媒体であって、前記コンピュータ記憶媒体はプログラム命令を格納し、前記プログラム命令が電子機器上で実行されると、前記電子機器は請求項1から4のいずれか一項に記載の方法を行えるようになる、コンピュータ記憶媒体。

【請求項10】

コンピュータプログラムであって、前記コンピュータプログラムが電子機器上で動作すると、前記電子機器は請求項1から4のいずれか一項に記載の方法を行えるようになる、コンピュータプログラム。

【請求項11】

チップであって、前記チップは電子機器内のメモリに結合されて、前記電子機器を、請求項1から4のいずれか一項に記載の方法を行うよう制御する、チップ。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、参照によりその全体が本明細書に組み込まれる、2018年7月16日に中国特許庁に出願された、「SKIN PIGMENT DETECTION METHOD AND APPARATUS」という名称の中国特許出願第201810776213．1号に基づく優先権を主張するものである。

【0002】

本出願は端末技術の分野に関し、特に、色素検出方法および電子機器に関する。

【背景技術】

【0003】

皮膚色素の分布は、皮膚外観および多くの皮膚の問題に直接関係している。例えば、メラニンの不均一な分布は、肝斑、そばかす、および日焼けなどの皮膚の問題につながる。別の例として、ヘモグロビン含有量の変化は、にきび、敏感肌、炎症、および末梢血管拡張などに直接関係している。したがって、皮膚色素の正確な検出は、スキンケア製品およびスキンケア器具の有効性の研究および試験において重要な役割を果たすだけでなく、消費者の毎日の美容法およびスキンケアの重要な指針としての意義もある。

【0004】

現在のところ、皮膚色素はモバイル端末上のアプリケーションを用いて検出されることができる。一般的な皮膚色素検出方法は、皮膚色素を分離するために使用される検出モデルを取得するために、様々な皮膚色を特徴付ける、様々なシナリオで取得される皮膚画像を使用してオフライン訓練を行うステップと、検出モデルを使用して皮膚色素を分離することによってテスト画像に対する検出を行うステップと、を含む。モバイル検出シナリオは非常に多様なので、訓練のためにすべてのシナリオで皮膚画像を取得することは不可能である。したがって、検出モデルは、複雑な可変シナリオで行われる皮膚色素検出に適用できない。結果として、検出モデルの適用性が低くなる。

【発明の概要】

【課題を解決するための手段】

【0005】

本出願は、既存の皮膚色素検出技術の適用性が低いという問題を解決する、色素検出方法および電子機器を提供する。

【0006】

第1の態様によれば、本出願の一実施形態は色素検出方法を提供する。本方法は、検出対象のRGB皮膚画像から第1の画像を抽出するステップであって、第1の画像がRGB皮膚画像における内部反射成分を表すために使用され、RGB皮膚画像がRGB画像撮影機能を有する機器によって撮影される、ステップと、色素の第1のスペクトル応答曲線とRGB画像撮影機能を有する機器の第2のスペクトル応答曲線との間の対応関係に基づいて第1の画像のRチャネル、Bチャネル、およびGチャネルから色素を抽出するステップと、抽出された色素に基づいて疑似カラー画像を生成し、疑似カラー画像を表示するステップと、を含む。

【0007】

この解決策に基づいて、第1の画像が検出対象のRGB皮膚画像から抽出され、第1の画像はRGB皮膚画像における内部反射成分を表すために使用され、RGB皮膚画像はRGB画像撮影機能を有する機器によって撮影される。さらに、色素の第1のスペクトル応答曲線とRGB画像撮影機能を有する機器の第2のスペクトル応答曲線との間の関係に基づいて第1の画像から色素が抽出される。このようにして、スペクトル応答関係に基づいて色素抽出が行われるので、様々なシナリオで撮影されたRGB皮膚画像内の色素が検出されることができ、様々なシナリオで取得された皮膚画像を使用して事前に訓練が行われて初めて色素検出が行われることができる先行技術の問題が回避される。したがって、この解決策に基づく色素検出は、比較的良好な適用性を有する。

【0008】

さらに、RGB皮膚画像から抽出される第1の画像の忠実度を向上させるために、1つの可能な実施態様では、検出対象のRGB皮膚画像が第1のLab画像に変換され、第1のLab画像のLチャネル、aチャネル、およびbチャネルの各々から内部反射成分が抽出され、第2のLab画像を取得するために第1のLab画像のLチャネル、aチャネル、およびbチャネルから抽出された内部反射成分が合成され、第1の画像を取得するために第2のLab画像がRGB画像に変換される。

【0009】

この方法では、内部反射成分が抽出されるので、色関連情報（aチャネルおよびbチャネル）と非色関連情報（Lチャネル）とが分離されて色関連情報を切り離して処理することができ、よって第1の画像の忠実度を向上させるのに役立つ。

【0010】

1つの可能な設計では、第1のLab画像のLチャネルの内部反射成分は、第1のLab画像のLチャネルの初期値と第1のLab画像のLチャネルの表面反射成分との差であり、第1のLab画像のaチャネルの内部反射成分は、第1のLab画像のaチャネルの初期値と第1のLab画像のaチャネルの表面反射成分との差であり、第1のLab画像のbチャネルの内部反射成分は、第1のLab画像のbチャネルの初期値と第1のLab画像のbチャネルの表面反射成分との差であり、第1のLab画像のLチャネル、aチャネル、およびbチャネルの表面反射成分は、第1のLab画像のLチャネル、aチャネル、およびbチャネルの初期値に対してフィルタリング処理を別々に行うことによって取得される。この設計によれば、Lチャネル、aチャネル、およびbチャネルの表面反射成分が除去されて、Lチャネル、aチャネル、およびbチャネルの内部反射成分を正確に抽出することができる。

【0011】

1つの可能な設計では、色素検出の精度を向上させるために、第1のLab画像のLチャネル、aチャネル、およびbチャネルの表面反射成分は、第1のLab画像のLチャネル、aチャネル、およびbチャネルの初期値に対してバイラテラルフィルタリング処理を別々に行うことによって取得され得る。この設計は、第1の画像のエッジ情報をさらに保持するのに役立ち、それによって色素検出の精度が向上する。

【0012】

1つの可能な設計では、色素は、ヘモグロビン、メラニン、カロテン、リポクローム、および胆汁色素のうちのいずれかを含むが、これに限定されない。

【0013】

第2の態様によれば、本出願の一実施形態は電子機器を提供し、本電子機器は、メモリと、プロセッサと、表示画面とを含む。メモリは、プログラム命令を格納するように構成される。プロセッサは、メモリに格納されたプログラム命令を読み出し、検出対象のRGB皮膚画像から第1の画像を抽出する動作であって、第1の画像がRGB皮膚画像における内部反射成分を表すために使用され、RGB皮膚画像がRGB画像撮影機能を有する機器によって撮影される、動作と、色素の第1のスペクトル応答曲線とRGB画像撮影機能を有する機器の第2のスペクトル応答曲線との間の対応関係に基づいて第1の画像のRチャネル、Bチャネル、およびGチャネルから色素を抽出する動作と、抽出された色素に基づいて疑似カラー画像を生成し、疑似カラー画像を表示する動作と、を行うように構成される。表示画面は、疑似カラー画像を表示するように構成される。

【0014】

1つの可能な設計では、プロセッサは、検出対象のRGB皮膚画像を第1のLab画像に変換する動作と、第1のLab画像のLチャネル、aチャネル、およびbチャネルの各々から内部反射成分を抽出する動作と、第2のLab画像を取得するために第1のLab画像のLチャネル、aチャネル、およびbチャネルから抽出された内部反射成分を合成する動作と、第1の画像を取得するために第2のLab画像をRGB画像に変換する動作と、を行うように特に構成される。

【0015】

1つの可能な設計では、第1のLab画像のLチャネルの内部反射成分は、第1のLab画像のLチャネルの初期値と第1のLab画像のLチャネルの表面反射成分との差であり、第1のLab画像のaチャネルの内部反射成分は、第1のLab画像のaチャネルの初期値と第1のLab画像のaチャネルの表面反射成分との差であり、第1のLab画像のbチャネルの内部反射成分は、第1のLab画像のbチャネルの初期値と第1のLab画像のbチャネルの表面反射成分との差であり、第1のLab画像のLチャネル、aチャネル、およびbチャネルの表面反射成分は、第1のLab画像のLチャネル、aチャネル、およびbチャネルの初期値に対してフィルタリング処理を別々に行うことによって取得される。

【0016】

1つの可能な設計では、第1のLab画像のLチャネル、aチャネル、およびbチャネルの表面反射成分が、第1のLab画像のLチャネル、aチャネル、およびbチャネルの初期値に対してフィルタリング処理を別々に行うことによって取得されることは、第1のLab画像のLチャネル、aチャネル、およびbチャネルの表面反射成分が、第1のLab画像のLチャネル、aチャネル、およびbチャネルの初期値に対してバイラテラルフィルタリング処理を別々に行うことによって取得されること、を含む。

【0017】

1つの可能な設計では、色素は、ヘモグロビン、メラニン、カロテン、リポクローム、および胆汁色素のうちのいずれかを含むが、これに限定されない。

【0018】

第3の態様によれば、本出願の一実施形態はコンピュータ記憶媒体を提供し、本コンピュータ記憶媒体はプログラム命令を格納し、プログラム命令が電子機器上で実行されると、電子機器は、本出願の実施形態の第1の態様または第1の態様の可能な設計のいずれか1つによる方法を行うことができるようになる。

【0019】

第4の態様によれば、本出願の一実施形態はコンピュータプログラム製品を提供する。本コンピュータプログラム製品が電子機器上で実行されると、電子機器は、本出願の実施形態の第1の態様または第1の態様の可能な設計のいずれか1つによる方法を行うことができるようになる。

【0020】

第5の態様によれば、本出願の一実施形態はチップを提供し、本チップは、電子機器内のメモリに結合され、電子機器を、本出願の実施形態の第1の態様または第1の態様の可能な設計のいずれか1つによる方法を行うよう制御する。

【0021】

加えて、第2の態様から第5の態様によってもたらされる技術的効果については、第1の態様の説明を参照されたい。詳細については、ここでは再度説明されない。

【0022】

本出願の実施形態における「結合」は、2つの構成要素が互いに直接的または間接的に組み合わされることを意味することに留意されたい。

【図面の簡単な説明】

【0023】

【図1】本出願の一実施形態が適用可能である電子機器の構造の概略図である。

【図2】本出願の一実施形態によるユーザインターフェースの概略図である。

【図3】本出願の一実施形態による色素検出方法の概略フローチャートである。

【図4A】本出願の一実施形態によるユーザインターフェースの概略図である。

【図4B】本出願の一実施形態によるユーザインターフェースの概略図である。

【図5A】本出願の一実施形態によるユーザインターフェースの概略図である。

【図5B】本出願の一実施形態によるユーザインターフェースの概略図である。

【図5C】本出願の一実施形態によるユーザインターフェースの概略図である。

【図5D】本出願の一実施形態によるユーザインターフェースの概略図である。

【図6】本出願の一実施形態によるスペクトル応答曲線の概略図である。

【図7】本出願の一実施形態によるメラニンに対応するグレースケール画像の概略図である。

【図8】本出願の一実施形態によるヘモグロビンに対応するグレースケール画像の概略図である。

【図9】本出願の一実施形態が適用可能である電子機器の構造の概略図である。

【発明を実施するための形態】

【0024】

以下で、添付の図面を参照して本出願の実施形態を詳細にさらに説明する。

【0025】

本出願の実施形態では、「少なくとも1つの」は1つまたは複数を意味し、「複数の」は2つ以上を意味することを理解されたい。「および／または」は、関連付けられた対象を記述するための関連付けの関係を記述し、3つの関係が存在し得ることを表す。例えば、Aおよび／またはBは、Aのみが存在する、AとBの両方が存在する、Bのみが存在する、の3つの場合を表し得る。AおよびBは単数形または複数形であり得る。文字「／」は、一般に、関連付けられた対象間の「または」の関係を示す。「以下のうちの少なくとも1つ（の項目）」またはその類似表現は、単一の項目または複数の項目の任意の組み合わせを含む、それらの項目の任意の組み合わせを意味する。例えば、a、b、またはcのうちの少なくとも1つ（の項目）とは、a、b、c、aおよびb、aおよびc、bおよびc、またはa、b、およびcを表し、a、b、およびcは各々、単数形または複数形であり得る。

【0026】

本出願で開示される実施形態は、電子機器に適用され得る。本出願のいくつかの実施形態では、電子機器は、パーソナルデジタルアシスタント機能および／または音楽プレーヤ機能などの機能を含む携帯用電子機器、例えば、携帯電話、タブレットコンピュータ、無線通信機能を備えたウェアラブルデバイス（スマートウォッチなど）、または車載機器であり得る。携帯用電子機器の例示的な実施形態は、iOS（登録商標）、Android（登録商標）、Microsoft（登録商標）、または別のオペレーティングシステムを使用する携帯用電子機器を含むが、これに限定されない。前述の携帯用電子機器は、あるいは、タッチセンシティブ面（例えば、タッチパネル）を有するラップトップコンピュータ（Laptop）などであってもよい。本出願のいくつかの他の実施形態では、前述の電子機器は、あるいは、タッチセンシティブ面（例えば、タッチパネル）を有するデスクトップコンピュータであってもよいことも理解されたい。

【0027】

図1は、電子機器の構造の概略図の一例である。

【0028】

電子機器100は、プロセッサ110、外部メモリインターフェース120、内部メモリ121、およびユニバーサルシリアルバス（universal serial bus、USB）インターフェース130、充電管理モジュール140、電源管理モジュール141、バッテリー142、アンテナ2、無線通信モジュール160、オーディオモジュール170、ラウドスピーカ170A、電話受話器170B、マイクロフォン170C、ヘッドセットジャック170D、センサモジュール180、キー190、モータ191、インジケータ192、カメラ193、表示画面194などを含み得る。センサモジュール180は、周囲光センサ180Lを含む。加えて、センサモジュール180は、圧力センサ180A、ジャイロスコープセンサ180B、気圧センサ180C、磁気センサ180D、加速度センサ180E、距離センサ180F、光学式近接センサ180G、指紋センサ180H、温度センサ180J、タッチセンサ180K、骨伝導センサ180Mなどもさらに含み得る。

【0029】

いくつかの他の実施形態では、本出願のこの実施形態の電子機器100は、アンテナ1、移動通信モジュール150、加入者識別モジュール（subscriber identification module、SIM）カードインターフェース195などをさらに含み得る。

【0030】

プロセッサ110は、1つまたは複数のプロセッシングユニットを含み得る。例えば、プロセッサ110は、アプリケーションプロセッサ（application processor、AP）、モデムプロセッサ、グラフィックスプロセッシングユニット（graphics processing unit、GPU）、画像信号プロセッサ（image signal processor、ISP）、コントローラ、メモリ、ビデオコーデック、デジタル信号プロセッサ（digital signal processor、DSP）、ベースバンドプロセッサ、ニューラルネネットワークプロセッシングユニット（neural－network processing unit、NPU）、および/または同様のものを含み得る。様々なプロセッシングユニットは、独立した機器であってもよく、または1つもしくは複数のプロセッサに統合されてもよい。

【0031】

いくつかの実施形態では、メモリが、プロセッサ110にさらに配置されてもよく、命令およびデータを格納するように構成される。例えば、プロセッサ110内のメモリは、キャッシュメモリであり得る。このメモリは、プロセッサ110によって最近使用されたか、または周期的に使用される命令またはデータを格納し得る。プロセッサ110が命令またはデータを再度使用する必要がある場合、プロセッサ110はメモリから命令またはデータを直接呼び出し得る。これにより度重なるアクセスが回避され、プロセッサ110の待機時間が短縮されて、システム効率が向上する。

【0032】

いくつかの他の実施形態では、プロセッサ110は、1つまたは複数のインターフェースをさらに含み得る。例えば、インターフェースは、USBインターフェース130であり得る。他の例として、インターフェースは、あるいは、集積回路間（inter－integrated circuit、I2C）インターフェース、集積回路間サウンド（inter－integrated circuit sound、I2S）インターフェース、パルス符号変調（pulse code modulation、PCM）インターフェース、汎用非同期送受信機（universal asynchronous receiver／transmitter、UART）インターフェース、モバイルインダストリープロセッサインターフェース（mobile industry processor interface、MIPI）、汎用入出力（general－purpose input／output、GPIO）インターフェース、SIMインターフェースなどであってもよい。本出願のこの実施形態では、電子機器100の様々なモジュールがインターフェースを介して接続され得るので、電子機器100は様々な機能、例えば、撮影や処理を実施できることが理解されよう。電子機器100内のインターフェースの接続方法は、本出願のこの実施形態では限定されないことに留意されたい。

【0033】

USBインターフェース130は、USB標準仕様に準拠したインターフェースである。例えば、USBインターフェース130は、mini USBインターフェース、micro USBインターフェース、USB Type－Cインターフェースなどを含み得る。USBインターフェース130は、電子機器100に充電するために充電器に接続するように構成されてもよく、電子機器100と周辺機器との間でデータを伝送するように構成されてもよく、またはヘッドセットに接続し、ヘッドセットを使用してオーディオを再生するように構成されてもよい。インターフェースは、別の電子機器、例えば、拡張現実（augmented reality、AR）機器に接続するようにさらに構成され得る。

【0034】

充電管理モジュール140は、充電器から充電入力を受け取るように構成される。充電器は、無線充電器であり得るか、または有線充電器であり得る。有線充電のいくつかの実施形態では、充電管理モジュール140は、USBインターフェース130を使用して有線充電器から充電を受け取り得る。無線充電のいくつかの実施形態では、充電管理モジュール140は、電子機器100の無線充電コイルを使用して無線充電入力を受け取り得る。バッテリー142に充電している間、充電管理モジュール140は、電源管理モジュール141を使用して電子機器にさらに給電してもよい。

【0035】

電源管理モジュール141は、バッテリー142、充電管理モジュール140、およびプロセッサ110に接続するように構成される。電源管理モジュール141は、バッテリー142および／または充電管理モジュール140から入力を受け取り、プロセッサ110、内部メモリ121、外部メモリ121、表示画面194、カメラ193、無線通信モジュール160などに給電する。電源管理モジュール141は、バッテリー容量、バッテリーサイクル数、およびバッテリーの健康状態（漏電およびインピーダンス）などのパラメータを監視するようにさらに構成され得る。いくつかの他の実施形態では、電源管理モジュール141は、あるいは、プロセッサ110に配置されてもよい。いくつかの他の実施形態では、電源管理モジュール141および充電管理モジュール140は、あるいは、同じ機器に配置されてもよい。

【0036】

電子機器100の無線通信機能は、アンテナ1、アンテナ2、移動通信モジュール150、無線通信モジュール160、モデムプロセッサ、ベースバンドプロセッサなどを使用して実施され得る。

【0037】

アンテナ1およびアンテナ2は、電磁波信号を送受信するように構成される。電子機器100内の各アンテナは、1つまたは複数の通信周波数帯域をカバーするように構成され得る。アンテナ利用を向上させるために異なるアンテナがさらに多重化されてもよい。例えば、アンテナ1は無線ローカルエリアネットワークダイバーシチアンテナとして多重化され得る。いくつかの他の実施形態では、アンテナは、チューニングスイッチと組み合わせて使用され得る。

【0038】

移動通信モジュール150は、2G、3G、4G、5Gなどを含む、電子機器100に適用された無線通信解決策を提供し得る。移動通信モジュール150は、少なくとも1つのフィルタ、スイッチ、電力増幅器、低雑音増幅器（low noise amplifier、LNA）などを含み得る。移動通信モジュール150は、アンテナ1を使用して電磁波を受信し、受信した電磁波に対してフィルタリングや増幅などの処理を行い、処理された電磁波を復調のためにモデムプロセッサに送信し得る。移動通信モジュール150はさらに、モデムプロセッサによって変調された信号を増幅し、増幅された信号をアンテナ1を使用して電磁波に変換し、アンテナ1を介して電磁波を放射し得る。いくつかの実施形態では、移動通信モジュール150内の少なくとも一部の機能モジュールがプロセッサ110に配置され得る。いくつかの実施形態では、移動通信モジュール150内の少なくとも一部の機能モジュールおよびプロセッサ110内の少なくとも一部のモジュールが同じ機器に配置され得る。

【0039】

モデムプロセッサは、変調器および復調器を含み得る。変調器は、送信されるべき低周波数ベースバンド信号を中高周波数信号に変調するように構成される。復調器は、受信した電磁波信号を低周波数ベースバンド信号に復調するように構成される。次いで、復調器は、復調によって取得された低周波数ベースバンド信号を処理のためにベースバンドプロセッサに送信する。低周波数ベースバンド信号がベースバンドプロセッサによって処理された後、処理された低周波数ベースバンド信号はアプリケーションプロセッサに送信される。アプリケーションプロセッサは、オーディオ機器（ラウドスピーカ170Aおよび電話受話器170Bに限定されない）を使用して音響信号を出力するか、または表示画面194を使用して画像もしくはビデオを表示する。いくつかの実施形態では、モデムプロセッサは、独立した機器であり得る。いくつかの他の実施形態では、モデムプロセッサは、プロセッサ110から独立しており、移動通信モジュール150または別の機能モジュールと同じ機器に配置され得る。

【0040】

無線通信モジュール160は、電子機器100に適用される無線通信解決策、例えば、無線ローカルエリアネットワーク（wireless local area networks、WLAN）（ワイヤレスフィデリティ（wireless fidelity、Wi－Fi）ネットワークなど）、ブルートゥース（登録商標）（blue tooth、BT）、全地球航法衛星システム（global navigation satellite system、GNSS）、周波数変調（frequency modulation、FM）、近距離無線通信（near field communication、NFC）、および赤外線（infrared、IR）技術を提供し得る。無線通信モジュール160は、少なくとも1つの通信処理モジュールに統合された1つまたは複数の機器であり得る。無線通信モジュール160は、アンテナ2を使用して電磁波信号を受信し、電磁波信号に対して周波数変調およびフィルタリング処理を行い、処理された信号をプロセッサ110に送信する。無線通信モジュール160はさらに、プロセッサ110から送信されるべき信号を受信し、信号に対して周波数変調および増幅を行い、処理された信号をアンテナ2を使用して電磁波に変換し、アンテナ2を介して電磁波を放射し得る。

【0041】

いくつかの実施形態では、電子機器100のアンテナ1は移動通信モジュール150に結合され、アンテナ2は無線通信モジュール160に結合されるので、電子機器100は、無線通信技術を使用してネットワークおよび別の機器と通信し得る。無線通信技術は、グローバル・システム・フォー・モバイル・コミュニケーションズ（global system for mobile communications、GSM）、汎用パケット無線サービス（general packet radio service、GPRS）、符号分割多元接続（code division multiple access、CDMA）、広帯域符号分割多元接続（wideband code division multiple access、WCDMA（登録商標））、時分割符号分割多元接続（time－division code division multiple access、TD－SCDMA）、ロングタームエボルーション（long term evolution、LTE）、BT、GNSS、WLAN、NFC、FM、IR技術などを含み得る。GNSSは、全地球測位システム（global positioning system、GPS）、全地球航法衛星システム（global navigation satellite system、GLONASS）、北斗航法衛星システム（beidou navigation satellite system、BDS）、準天頂衛星システム（quasi－zenith satellite system、QZSS）、および／または静止衛星型補強システム（satellite based augmentation systems、SBAS）を含み得る。

【0042】

電子機器100は、GPU、表示画面194、アプリケーションプロセッサなどを使用して表示機能を実施する。GPUは、画像処理のためのマイクロプロセッサであり、表示画面194およびアプリケーションプロセッサに接続される。GPUは、数学的計算および幾何学的計算を行うように構成され、グラフィックスレンダリングを行うように構成される。プロセッサ110は、1つまたは複数のGPUを含んでいてもよく、プログラム命令を実行して表示情報を生成または変更する。

【0043】

表示画面194は、画像、ビデオなどを表示するように構成される。表示画面194は、表示パネルを含む。表示パネルは、液晶ディスプレイ（liquid crystal display、LCD）、有機発光ダイオード（organic light－emitting diode、OLED）、アクティブマトリックス式有機発光ダイオード（active－matrix organic light emitting diode、AMOLED）、フレキシブル発光ダイオード（flex light－emitting diode、FLED）、ミニLED、マイクロLED、量子ドット発光ダイオード（quantum dot light emitting diodes、QLED）などを使用し得る。いくつかの実施形態では、電子機器100は、1つまたはN個の表示画面194を含んでいてもよく、Nは1より大きい正の整数である。

【0044】

電子機器100は、ISP、カメラ193、ビデオコーデック、GPU、表示画面194、アプリケーションプロセッサなどを使用して撮影機能を実施し得る。

【0045】

ISPは、カメラ193によってフィードバックされたデータを処理するように構成される。例えば、撮影時には、シャッタが開いた後に、レンズを通してカメラの受光素子に光が伝達され、光信号が電気信号に変換され、カメラの受光素子は電気信号を処理のためにISPに送り、電気信号を視覚画像に変換する。ISPは、画像のノイズ、輝度、および皮膚色に対してアルゴリズムベースの最適化をさらに行い得る。ISPは、撮影シナリオの露出や色温度などのパラメータをさらに最適化し得る。いくつかの実施形態では、ISPはカメラ193に配置され得る。

【0046】

カメラ193は、静止画像またはビデオを取り込むように構成される。光学画像がレンズを使用して物体について生成され、受光素子上に投影される。受光素子は、電荷結合素子（charge coupled device、CCD）、または相補形金属酸化膜半導体（complementary metal－oxide－semiconductor、CMOS）フォトトランジスタであり得る。受光素子は、光信号を電気信号に変換し、次いで、電気信号をデジタル画像信号に変換するために、電気信号をISPに送信する。ISPは、デジタル画像信号を処理のためのDSPに出力する。DSPは、デジタル画像信号を、標準のRGBまたはYUV形式などの画像信号に変換する。いくつかの実施形態では、電子機器100は1つまたはN個のカメラ193を含んでいてもよく、Nは1より大きい正の整数である。

【0047】

DSPは、デジタル信号を処理するように構成される。デジタル画像信号に加えて、DSPは、別のデジタル信号をさらに処理し得る。例えば、電子機器100が周波数を選択すると、DSPは、周波数エネルギーに対するフーリエ変換などを行うように構成される。

【0048】

ビデオコーデックは、デジタルビデオを圧縮または展開するように構成される。電子機器100は1つまたは複数のタイプのビデオコーデックをサポートすることができる。この場合、電子機器100は、複数の符号化フォーマット、例えば、ムービングピクチャーエキスパーツグループ（moving picture experts group、MPEG）－1フォーマット、MPEG－2フォーマット、MPEG－3フォーマット、およびMPEG－4フォーマットでビデオを再生または録画することができる。

【0049】

NPUは、ニューラルネットワーク（neural－network、NN）コンピューティングプロセッサである。生物学的な神経回路網構造を使用して、例えば、人間の脳の神経間の伝達モードを使用して、NPUは、入力情報を迅速に処理することができ、継続的な自己学習をさらに行うことができる。電子機器100のインテリジェントな認知、例えば、画像認識、顔認識、音声認識、およびテキスト理解などのアプリケーションは、NPUを使用して実施されることができる。

【0050】

外部メモリインターフェース120は、電子機器100の記憶容量を拡張するために、外部メモリカード（例えば、マイクロSDカード）に接続するように構成され得る。外部メモリカードは、データ記憶機能、例えば、外部メモリカードへの音楽ファイル、ビデオファイルなどの格納を実施するために、外部メモリインターフェース120を使用してプロセッサ110と通信する。

【0051】

内部メモリ121は、コンピュータ実行可能プログラムコードを格納するように構成されてもよく、実行可能プログラムコードは命令を含む。プロセッサ110は内部メモリ121に格納された命令を実行して、電子機器100の様々な機能アプリケーションおよびデータ処理を行う。内部メモリ121は、プログラム記憶領域およびデータ記憶領域を含み得る。プログラム記憶領域は、オペレーティングシステム、少なくとも1つの機能（例えば、オーディオ再生機能や画像再生機能）によって必要とされるアプリケーションなどを格納し得る。データ記憶領域は、電子機器100の使用中に作成されたデータ（例えば、オーディオデータや電話帳）などを格納し得る。加えて、内部メモリ121は、高速ランダムアクセスメモリを含んでいてもよく、不揮発性メモリ、例えば、少なくとも1つの磁気ディスク記憶装置、フラッシュメモリデバイス、およびユニバーサルフラッシュストレージ（universal flash storage、UFS）をさらに含んでいてもよい。

【0052】

電子機器100は、オーディオモジュール170、ラウドスピーカ170A、電話受話器170B、マイクロフォン170C、ヘッドセットジャック170D、アプリケーションプロセッサなどを使用して、オーディオ機能、例えば、音楽再生や録音を実施することができる。

【0053】

オーディオモジュール170は、デジタルオーディオ情報を出力のためにアナログオーディオ信号に変換するように構成され、アナログオーディオ入力をデジタルオーディオ信号に変換するようにも構成される。オーディオモジュール170は、オーディオ信号を符号化および復号するようにさらに構成され得る。いくつかの実施形態では、オーディオモジュール170は、プロセッサ110に配置されてもよく、またはオーディオモジュール170の一部の機能モジュールがプロセッサ110に配置される。

【0054】

ラウドスピーカ170Aは、「スピーカ」とも呼ばれ、オーディオ電気信号を音響信号に変換するように構成される。電子機器100は、ラウドスピーカ170Aを使用して音楽を聴いたり、ハンズフリー通話に応答したりするために使用されることができる。

【0055】

電話受話器170Bは、「イヤーピース」とも呼ばれ、オーディオ電気信号を音響信号に変換するように構成される。電子機器100上で通話または音声情報が受信されるときに、電話受話器170Bを人間の耳の近くに当てることによって音声が聞かれることができる。

【0056】

マイクロフォン170Cは、「音声管」または「マイク」とも呼ばれ、音響信号を電気信号に変換するように構成される。電話をかけ、または音声情報を送信するときに、ユーザは、ユーザの口でマイクロフォン170Cの近くで音を出して、マイクロフォン170Cに音響信号を入力することができる。少なくとも1つのマイクロフォン170Cが電子機器100に配置され得る。いくつかの他の実施形態では、2つのマイクロフォン170Cが電子機器100に配置されてもよく、音響信号取得に加えて雑音低減機能をさらに実施することもできる。いくつかの他の実施形態では、音響信号取得および雑音低減を実施し、音源をさらに特定し、指向性録音機能などを実施するために、3つ、4つ、またはそれ以上のマイクロフォン170Cが、あるいは、電子機器100に配置されてもよい。

【0057】

ヘッドセットジャック170Dは、有線ヘッドセットに接続するように構成される。ヘッドセットジャック170Dは、USBインターフェース130であり得るか、または3．5mmオープンモバイル電子機器プラットフォーム（open mobile terminal platform、OMTP）標準インターフェース、米国セルラー通信工業会（cellular telecommunications industry association of the USA、CTIA）標準インターフェースなどであり得る。

【0058】

圧力センサ180Aは、圧量信号を感知するように構成され、圧力信号を電気信号に変換することができる。いくつかの実施形態では、圧力センサ180Aは、表示画面194上に配置され得る。多くのタイプの圧力センサ180A、例えば、抵抗式圧力センサ、誘導式圧力センサ、および静電容量式圧力センサがある。静電容量式圧力センサは、導電材料を含む少なくとも2つの平行なプレートを含み得る。圧力センサ180Aに力が加わると、電極間の静電容量が変化する。電子機器100は、静電容量の変化に基づいて圧力強度を決定する。表示画面194上でタッチ操作が行われると、電子機器100は、圧力センサ180Aを使用してタッチ操作の強度を検出する。電子機器100は、あるいは、圧力センサ180Aによって検出された信号に基づく計算によってタッチ位置を取得してもよい。いくつかの実施形態では、同じタッチ位置で行われるが、異なるタッチ操作強度を有するタッチ操作が、異なる操作命令に対応している場合がある。例えば、SMSメッセージアプリケーションのアイコン上で第1の圧力閾値未満のタッチ操作強度のタッチ操作が行われると、ショートメッセージを閲覧するための命令が実行される。SMSメッセージアプリケーションのアイコン上で第1の圧力閾値以上のタッチ操作強度のタッチ操作が行われると、新しいショートメッセージを作成するための命令が実行される。

【0059】

ジャイロスコープセンサ180Bは、電子機器100の移動姿勢を決定するように構成され得る。いくつかの実施形態では、ジャイロスコープセンサ180Bを使用して3軸（すなわち、x軸、y軸、およびz軸）に対する電子機器100の角速度が決定され得る。ジャイロスコープセンサ180Bは、撮影時の画像安定化のために使用され得る。例えば、シャッタが押されると、ジャイロスコープセンサ180Bは、電子機器100が揺れる角度を検出し、角度に基づいて、レンズモジュールが補正する必要がある距離を計算し、レンズが逆方向の動きによって電子機器100の揺れを相殺できるようにして、画像安定化を実施する。ジャイロスコープセンサ180Bは、ナビゲーションおよび動き感知ゲームシナリオにも使用され得る。

【0060】

気圧センサ180Cは、大気圧を測定するように構成される。いくつかの実施形態では、電子機器100は、気圧センサ180Cによって測定された大気圧を使用して高度を計算して、測位およびナビゲーションを支援する。

【0061】

磁気センサ180Dは、ホール効果センサを含む。電子機器100は、磁気センサ180Dを使用して、フリップ式レザーケースが開いているかそれとも閉じているかを検出し得る。いくつかの実施形態では、電子機器100がフリップ式携帯電話である場合、電子機器100は、磁気センサ180Dを使用して、フリップカバーが開いているかそれとも閉じているかを検出し、レザーケースの開／閉状態の検出またはフリップカバーの開／閉状態の検出に基づいて、フリップ式携帯電話が開かれたときに自動ロック解除が実施されるなどの属性をさらに設定し得る。

【0062】

加速度センサ180Eは、様々な方向（一般には3軸）の電子機器100の加速度の大きさを検出し、電子機器100が静止しているときの重力の大きさおよび方向を検出し、電子機器の姿勢を認識するようにさらに構成され、横向きモードと縦向きモードとの画面切り替え、歩数計、または他のアプリケーションに適用され得る。

【0063】

距離センサ180Fは、距離を測定するように構成される。電子機器100は、赤外線またはレーザーを使用して距離を測定し得る。いくつかの実施形態では、撮影シナリオにおいて、電子機器100は、距離センサ180Fを使用して距離を測定して、迅速なピント合わせを実施し得る。

【0064】

光学式近接センサ180Gは、例えば、発光ダイオード（LED）および光検出器、例えば、フォトダイオードを含み得る。発光ダイオードは、赤外線発光ダイオードであり得る。電子機器100は、発光ダイオードを使用して赤外光を発する。電子機器100は、フォトダイオードを使用して近くの物体からの赤外線反射光を検出する。十分な反射光が検出されると、電子機器100は、電子機器100の近くに物体があると判断することができる。不十分な反射光が検出されると、電子機器100は、電子機器100の近くに物体がないと判断することができる。光学式近接センサ180Gを使用して、電子機器100は、ユーザが通話中に電子機器100を耳のそばに保持していることを検出して、節電のために画面を自動的にオフにし得る。光学式近接センサ180Gは、レザーケースモードまたはポケットモードでの自動画面ロック解除またはロックにも使用され得る。

【0065】

周囲光センサ180Lは、周囲光の明るさを感知するように構成される。電子機器100は、感知された周囲光の明るさに基づいて表示画面194の明るさを適応的に調整し得る。周囲光センサ180Lは、撮影時にホワイトバランスを自動的に調整するようにも構成され得る。周囲光センサ180Lはまた、光学式近接センサ180Gと協調して、電子機器100がポケット内にあるかどうかを検出して、誤ったタッチを防止することもできる。

【0066】

指紋センサ180Hは、指紋を取得するように構成される。取得された指紋の特徴を使用して、電子機器100は、指紋によるロック解除を実施したり、アプリケーションロックにアクセスしたり、指紋による撮影を行ったり、指紋によって通話に応答したりすることができる。

【0067】

温度センサ180Jは、温度を検出するように構成される。いくつかの実施形態では、電子機器100は、温度センサ180Jによって検出された温度を使用して温度処理ポリシーを実行する。例えば、温度センサ180Jによって報告された温度が閾値を超える場合、電子機器100は、温度センサ180Jの近くに位置するプロセッサの性能を落として、電力消費を減らして熱保護を実施する。いくつかの他の実施形態では、温度が他の閾値未満である場合、電子機器100は、バッテリー142を暖めて、低温に起因する電子機器100の異常な電源オフを防止する。いくつかの他の実施形態では、温度がさらに他の閾値未満である場合、電子機器100は、バッテリー142の出力電圧を増やして、低温に起因する異常な電源オフを防止する。

【0068】

タッチセンサ180Kは、「タッチパネル」とも呼ばれる。タッチセンサ180Kは、表示画面194に配置されてもよく、タッチセンサ180Kと表示画面194とは、「タッチ制御画面」とも呼ばれる、タッチスクリーンを構成する。タッチセンサ180Kは、タッチセンサ180K上またはその近くで行われたタッチ操作を検出するように構成される。タッチセンサは、検出されたタッチ操作を、タッチイベントのタイプを決定するためにアプリケーションプロセッサに送信し得る。タッチ操作に関連した視覚出力が、表示画面194を使用して提供され得る。いくつかの他の実施形態では、タッチセンサ180Kは、あるいは、電子機器100の表面上の、表示画面194の位置とは異なる位置に配置されてもよい。

【0069】

骨伝導センサ180Mは、振動信号を取得し得る。いくつかの実施形態では、骨伝導センサ180Mは、人体の声帯部分の振動する骨ブロックの振動信号を取得し得る。骨伝導センサ180Mは、血圧変動信号を受信するために人体の脈拍と接触していてもよい。いくつかの実施形態では、骨伝導センサ180Mは、ヘッドセットと組み合わせて骨伝導ヘッドセットにするためにヘッドセットにも配置され得る。オーディオモジュール170は、音声機能を実施するために、骨伝導センサ180Mによって取得された声帯部分の振動する骨ブロックの振動信号をパースすることによって音声信号を取得し得る。アプリケーションプロセッサは、心拍検出機能を実施するために、骨伝導センサ180Mによって取得された血圧変動信号をパースすることによって心拍情報を取得し得る。

【0070】

キー190は、電源キー、音量キーなどを含み得る。キー190は、機械的なキーであり得るか、またはタッチキーであり得る。電子機器100は、キー入力を受け取り、電子機器100のユーザ設定および機能制御に関連したキー信号入力を生成し得る。

【0071】

モータ191は、振動アラートを生成し得る。モータ191は、着信振動アラートおよびタッチ振動フィードバックを提供するように構成され得る。例えば、異なるアプリケーション（例えば、撮影やオーディオ再生）上で行われたタッチ操作が異なる振動フィードバック効果に対応していてもよい。モータ191はまた、表示画面194の異なる領域で行われたタッチ操作の異なる振動フィードバック効果に対応していてもよい。異なるアプリケーションシナリオ（例えば、時間の通知、情報の受信、目覚まし時計アプリケーション、およびゲームアプリケーション）が異なる振動フィードバック効果に対応していてもよい。タッチ振動フィードバック効果はユーザ定義されてもよい。

【0072】

インジケータ192は、インジケータライトであってもよく、充電状況およびバッテリーレベルの変化を指示するように構成されてもよく、またはメッセージ、不在着信、通知などを指示するように構成されてもよい。

【0073】

SIMカードインターフェース195は、SIMカードに接続するように構成される。SIMカードは、電子機器100と接触するか、または電子機器100から分離されるように、SIMカードインターフェース195に挿入されるか、またはSIMカードインターフェース195から取り外され得る。電子機器100は1つまたはN個のSIMカードインターフェースをサポートすることができ、Nは1より大きい正の整数である。SIMカードインターフェース195は、ナノSIMカード、マイクロSIMカード、SIMカードなどをサポートすることができる。複数のカードが同時にSIMカードインターフェース195に挿入されてもよい。複数のカードは、同じタイプまたは異なるタイプのものであり得る。SIMカードインターフェース195は、様々なタイプのSIMカードとの互換性を有していてもよい。SIMカードインターフェース195は、外部メモリカードとの互換性を有していてもよい。電子機器100は、SIMカードを使用してネットワークとインタラクトして、通話機能、データ通信機能などを実施する。いくつかの実施形態では、電子機器100は、eSIM、すなわち、組み込み式のSIMカードを使用する。eSIMカードは、電子機器100に組み込まれており、電子機器100から分離されることができない。

【0074】

本出願のこの実施形態における概略構造は、電子機器100に対するいかなる特定の限定も構成しないことが理解されよう。本出願のいくつかの他の実施形態では、電子機器100は、図に示されている構成要素より多いかもしくは少ない構成要素を含んでいてもよく、または一部の構成要素が組み合わされてもよく、一部の構成要素が分割されてもよく、または異なる構成要素の配置があってもよい。図に示されている構成要素は、ハードウェア、ソフトウェア、またはソフトウェアとハードウェアの組み合わせによって実装され得る。

【0075】

以下で、本出願のこの実施形態を、電子機器100を例に使用して詳細に説明する。

【0076】

加えて、本出願のこの実施形態の電子機器によってサポートされるアプリケーションは、撮影アプリケーション、例えば、カメラを含み得ることも理解されたい。加えて、電子機器によってサポートされるアプリケーションは、複数の他のアプリケーション、例えば、描画、ゲーム、電話、ビデオプレーヤ、音楽プレーヤ、写真管理、ブラウザ、カレンダー、および時計もさらに含み得る。

【0077】

本出願のこの実施形態の電子機器によってサポートされるアプリケーションは、皮膚テストのためのアプリケーションをさらに含み得る。皮膚テストのためのアプリケーションは、ユーザの顔の皮膚の特徴（例えば、しわ、毛穴、毛穴の黒ずみ、カラースポット、または顔の皮膚の赤み領域）を、撮影された顔画像を使用して検出するものであり、ユーザに検出結果報告を提供し得る。例えば、検出結果報告は、これに限定されないが、顔の皮膚の特徴ごとのスコアおよび顔の皮膚に関する包括的な分析を含んでいてもよく、ユーザの顔画像をさらに表示し、各特徴の検出結果に基づいて顔画像上に対応する問題をマークし得る。例えば、毛穴の黒ずみは鼻領域にマークされ、しわは額領域にマークされ、カラースポットは頬領域にマークされる。検出結果報告はユーザインターフェース上でユーザに提示され得ることが理解されよう。例えば、検出結果報告は、図2に示されるユーザインターフェース200上に提示されてもよく、包括的なスコア、肌年齢、および毛穴、毛穴の黒ずみ、小皺、カラースポット、および赤み領域のスコアを含む。いくつかの他の実施形態では、ユーザインターフェース200は、仮想ボタン201、仮想ボタン202、仮想ボタン203、仮想ボタン204、および仮想ボタン205をさらに含み得る。仮想ボタン201を例にとると、仮想ボタン201上で行われた操作に応答して、電子機器100は、表示画面194上に毛穴のための具体的なケアアドバイスを表示する。仮想ボタン202、仮想ボタン203、仮想ボタン204、および仮想ボタン205の機能については、仮想ボタン201の機能を参照されたい。詳細については、ここでは再度説明されない。

【0078】

電子機器にユーザの顔の皮膚をより正確に検出させるために、例えば、本出願のこの実施形態のユーザ皮膚テストの解決策では、撮影条件検出モジュール、画質検出モジュール、および関心領域（region of interest、ROI）検出モジュール、皮膚特徴検出モジュール、結果分析モジュールなどがプロセッサ110に組み込まれ得る。いくつかの実施形態では、撮影条件検出モジュール、画質検出モジュール、および関心領域（region of interest、ROI）検出モジュール、皮膚特徴検出モジュール、結果分析モジュールなどは、プロセッサ110内のアプリケーションプロセッサに組み込まれ得る。いくつかの他の実施形態では、プロセッサ110に人工知能（artificial intelligence、AI）チップが組み込まれ、撮影条件検出モジュール、画質検出モジュール、および関心領域（region of interest、ROI）検出モジュール、皮膚特徴検出モジュール、結果分析モジュールなどは、ユーザ皮膚テストを実施するために、AIチップに組み込まれる。

【0079】

撮影条件検出モジュールは、現在の撮影条件を検出して、必要な撮影条件で撮影を行うようユーザを誘導し、撮影された画像が要件を満たすことを保証し、それによって画像に基づいて行われる皮膚テストの精度を保証する。例えば、必要な撮影条件は、周囲光が十分である、人間の顔と電子機器との間に適切な距離（例えば、約25cm）がある、顔が真っ直ぐである、目が閉じられている、眼鏡がかけられていない、額が可能な限り前髪で覆われていない、ピント合わせが正確である、明らかな揺れがない、などを含む。

【0080】

撮影条件検出モジュールが検出に成功した後、プロセッサ110はインテリジェントな光補償を可能にする。例えば、現在の撮影条件が要件を満たす場合、撮影条件検出モジュールは検出が成功したと判断する。具体的には、本出願のこの実施形態では、電子機器は、様々な顔の皮膚の特徴を検出する要件を満たすために、様々な光補償モード（例えば、フラッシュランプモードやフラッシュライトモード）を使用して、ユーザの顔の光補償を行い得る。ユーザの顔の光補償を行った後、プロセッサ110は、カメラ193を制御してユーザの顔を撮影してユーザの顔の顔画像を取得し得る。

【0081】

画質検出モジュールは、撮影された画像が様々な顔の皮膚の特徴の検出要件を満たすことを保証するために、顔画像の品質を検出し得る。

【0082】

画質検出モジュールが、画質が要件を満たすと認めた後、ROI検出モジュールは、顔画像から検出対象のROIを決定し得る。例えば、毛穴の黒ずみのROIは、鼻の小さい領域である。

【0083】

皮膚特徴検出モジュールは、決定されたROI内の顔の皮膚の特徴の各々を検出し、例えば、皮膚のしわ、毛穴、毛穴の黒ずみ、カラースポット、赤み領域、および脂性の程度を検出し得る。

【0084】

結果分析モジュールは、皮膚特徴検出モジュールによって検出された顔の皮膚の特徴の検出結果を分析し、皮膚特徴ごとの各検出項目のスコア、スコアランキングなどを提供し得る。

【0085】

加えて、いくつかの実施形態では、画像前処理モジュールがプロセッサ110にさらに組み込まれ得る。画像前処理モジュールは、撮影された顔画像の圧縮、トリミングなどを行って、ROI検出モジュール、皮膚特徴検出モジュールなどが後続の処理を行うようにし得る。

【0086】

顔画像分析結果を出力したり、各検出項目のスコアを出力したりするために、プロセッサ110は、検出によって取得された（顔画像内の各特徴の検出結果を伴う領域、例えば、毛穴の黒ずみがマークされた鼻領域、しわがマークされた額領域、カラースポットがマークされた頬領域、すべての検出項目のスコアなどを含む）検出報告をユーザが閲覧するために表示画面194上にさらに表示してもよく、それによってユーザエクスペリエンスが向上する。

【0087】

以下で、図1に示される電子機器の構造を参照して、本出願の実施形態を詳細に説明する。

【0088】

複数の検出シナリオの変化に適応し、既存の皮膚色素検出技術の適用性が低いという問題を解決するために、本出願の一実施形態は、色素検出方法を提供する。この方法では、電子機器100は、RGB皮膚画像から色素を抽出することができる。皮膚色素（例えば、メラニンやヘモグロビン）は特定の吸収スペクトルを有するので、皮膚画像から内部反射成分が抽出された後、スペクトル分析技術を使用して内部反射成分から色素が分離されることができる。したがって、色素検出にこの色素検出方法を使用することにより比較的良好な適用性が達成されることができる。

【0089】

本出願のこの実施形態で提供される色素検出方法は、皮膚テストに使用され、電子機器100によってサポートされるアプリケーションに適用され得る。例えば、図5Aから図5Dに示されるように、電子機器100の表示画面194は、皮膚テストのためのアプリケーションのアイコン500を表示する。アイコン500上で行われた操作を検出した場合（例えば、電子機器はユーザがアイコン500をタップしたことを検出する）、アイコン500上で行われた操作に応答して、電子機器100は、表示画面194上に皮膚テストのためのアプリケーションのユーザインターフェース510を表示する。皮膚テストのためのアプリケーションのユーザインターフェース510は、仮想ボタン511を含む（実施時に、仮想ボタンは「テスト」、「写真を撮る」などの名前で表示され得る）。仮想ボタン511上で行われた操作を検出した場合（例えば、電子機器はユーザが仮想ボタン511をタップしたことを検出する）、仮想ボタン511上で行われた操作に応答して、電子機器100は、本出願のこの実施形態で提供される色素検出方法に従って、RGB皮膚画像内の、色素が検出される必要がある領域に対して色素検出を行う。

【0090】

RGB皮膚画像は、仮想ボタン511上の操作に応答して電子機器100が、カメラ193を使用してユーザの顔を撮影することによって取得され得る。カメラ193はここでは、電子機器100の前面カメラまたは背面カメラであり得る。あるいは、RGB皮膚画像は、仮想ボタン511上の操作に応答して電子機器100によって、内部メモリ121から、または外部メモリインターフェース120を使用して外部メモリから読み出された画像であってもよい。この場合、RGB皮膚画像は、事前に撮影され、内部メモリ121または外部メモリに格納されたRGB皮膚画像であり得る。

【0091】

例えば、RGB皮膚画像は、電子機器によって、カメラ193を使用してユーザの顔を撮影することによって取得された画像であり得る（カメラ193はここでは、前面カメラまたは背面カメラであり得る）。撮影の後、電子機器100は、取得されたRGB皮膚画像を内部メモリ121に格納し、仮想ボタン511上で行われた操作を検出した後、電子機器100は、内部メモリ121からRGB皮膚画像を読み出し得る。加えて、実施時に、内部メモリ121に格納されたRGB皮膚画像は、あるいは、移動通信モジュール150および／または無線通信モジュール160を使用して電子機器100によって受信された画像であってもよい。

【0092】

さらに、電子機器100が仮想ボタン511上で行われた操作を検出した後、ユーザは、あるいは、電子機器100がカメラ193を使用して撮影を行ってRGB皮膚画像を取得するか、それとも電子機器100が内部メモリ121または外部メモリからRGB皮膚画像を読み出すかを選択してもよい。例えば、電子機器100が仮想ボタン511上で行われた操作を検出した後、表示画面194は写真選択領域512を表示する。写真選択領域512は、ユーザにRGB皮膚画像のソースを選択するよう促す、「写真を提供する」や「写真を取得する」などのプロンプト情報を含んでいてもよく、写真選択領域512は、複数の仮想ボタンをさらに含み得る。仮想ボタンに対応する操作は、様々な方法でRGB皮膚画像を取得するために、ユーザによって仮想ボタン上で行われる操作に基づいて行われる。例えば、仮想ボタンは、RGB皮膚画像を撮影により取得することを表す第1のボタン513（第1のボタン513の名前は、「カメラ」、「写真を撮る」などであり得る）であり得るか、または仮想ボタンは、RGB皮膚画像をメモリから読み出すことによって取得することを表す第2のボタン514（第2のボタン514の名前は、「ストレージ」、「アルバム」などであり得る）であり得る。ユーザによって第1のボタン513上で行われた操作を検出した後、ユーザによって第1のボタン513上で行われた操作に応答して、電子機器100は、カメラ193を使用してユーザの顔画像を撮影し、その顔画像をRGB皮膚画像として使用し得る。ユーザによって第2のボタン514上で行われた操作を検出した後、電子機器100は、続いてユーザにRGB皮膚画像のストレージパスを選択するよう促し、ユーザによって選択されたストレージパスから、ユーザによってRGB皮膚画像として選択された画像を読み出し得る。ストレージパスは、電子機器100の「アルバム」のデフォルトのストレージパスであり得る。ストレージパスは、内部メモリ121のストレージパスを含み得るか、または外部メモリのストレージパスを含み得る。加えて、写真選択領域512の表示は、あるいは、電子機器100が、仮想ボタン511上で行われた操作を検出する以外の方法でトリガされてもよいことを理解されたい。例えば、電子機器100が新しい仮想機能ボタン上で行われた操作を検出した後に写真選択
領域512を表示するために、ユーザインターフェース510上に新しい仮想機能ボタンが配置されてもよい。

【0093】

前述の方法を使用してユーザのRGB皮膚画像が取得された後、表示画面194は、RGB皮膚画像プレビューインターフェース520を表示し、RGB皮膚画像プレビューインターフェース520のプレビュー領域521にRGB皮膚画像を表示し得る。電子機器100は、プレビュー領域521内のRGB皮膚画像に基づいて色素検出のROIを決定し得る。例えば、電子機器100がRGB皮膚画像内の顔の特徴点に基づくポジショニング分析によってROIを自動的に選択してもよく、ユーザがROIを手で描画してもよく、または電子機器100が領域を提供し、電子機器100によって提供された領域をユーザが手で調整してROIを取得してもよい。次いで、ROIは、RGB皮膚画像内の、色素が検出される必要がある領域として使用され、本出願のこの実施形態で提供される色素検出方法を使用して色素検出を行うために使用される。

【0094】

以下で、電子機器100内のプロセッサ110が、前述の様々な方法で取得されたRGB皮膚画像に基づいてRGB皮膚画像上の色素検出をどのようにして具体的に実施するかについて説明する。具体的な方法については、図3に示される概略フローチャートを参照されたい。本方法は、以下のステップを含む。

【0095】

ステップ301．プロセッサ110が検出対象のRGB皮膚画像から第1の画像を抽出する。

【0096】

第1の画像はRGB皮膚画像における内部反射成分を表すために使用され、RGB皮膚画像はRGB画像撮影機能を有する機器によって撮影される。

【0097】

ここで、RGB皮膚画像は、検出対象部分、例えば、顔画像または鼻領域画像の皮膚画像であり得る。

【0098】

RGB皮膚画像は、入射光が表皮を通して反射され、表皮、真皮、皮下組織によって吸収および散乱された後に画像化することによって取得される。RGB皮膚画像は主に2つの成分、表面反射成分および内部反射成分を含む。

【0099】

表面反射成分は、入射光が皮膚表面に入射するときに鏡面反射と同様に跳ね返るエネルギーを使用して取得され、皮膚表面のトポロジー特徴、例えば、しわ、毛穴、毛穴の黒ずみ、および皮膚のキメを分析するために使用され得る。

【0100】

内部反射成分は、入射光のエネルギーが皮膚に入り、表皮および真皮内の色素、コラーゲンなどによって吸収および散乱された後に戻されるエネルギーを使用して取得され、皮下組織の光学的特性、例えば、メラニンやヘモグロビンなどの色素の分布を分析するために使用され得る。例えば、内部反射成分は、第1の画像を取得するために、検出対象のRGB皮膚画像から抽出され得る。

【0101】

RGB画像撮影機能を有する機器は、電子機器100であってもよく、または電子機器100に接続された機器であってもよく、または電子機器100に直接接続されていない機器であってもよい。一例では、間接接続は、無線接続であってもよく、または電子機器100に、RGB画像撮影機能を有する機器によって撮影されたRGB皮膚画像を送信または伝送するために、他の機器を使用して実施された接続であってもよい。例えば、RGB画像撮影機能を有する機器は電子機器100である。RGB画像撮影機能は、電子機器100上のカメラ193によって実施される。例えば、カメラ193はRGB皮膚画像を取得する。例えば、画像が取得される必要があるとき、電子機器100にインストールされたカメラアプリケーションに対して操作が行われて、カメラ193が電子機器100を使用して画像を撮影することが可能になる。カメラアプリケーションは、出荷時に電子機器100に事前にインストールされたアプリケーションであってもよく、またはユーザによってダウンロードされたアプリケーションであってもよい。RGB皮膚画像は、電子機器100に事前にインストールされた画像であってもよく、または電子機器100によりカメラ193を使用可能にすることによってリアルタイムの撮影を介して取得されてもよいことに留意されたい。

【0102】

1つの具体例では、図4Aおよび図4Bに示されるように、電子機器100の表示画面194はホーム画面を表示する。ホーム画面は、カメラアプリケーションのアイコン400を含み得る。加えて、ホーム画面は、電子メールアイコン、SMSメッセージアイコン、ギャラリーアイコン、WeChatアイコンなどをさらに含んでいてもよい。画像が撮影される必要があるとき、電子機器100の表示画面194は、アイコン400上で行われた操作、例えば、アイコン400上で行われるタッチ操作に応答し得る。表示画面194は、プレビューインターフェース410を表示し、プレビューインターフェース410はプレビュー領域411を含む。プレビュー領域411は、カメラ193によって取得されたRGB皮膚画像を表示するために使用され得る。顔画像の撮影を例にとると、撮影対象の画像がプレビュー領域411に表示されたときに、仮想ボタン412上でタッチ操作が行われて、RGB皮膚画像を取得し得る。

【0103】

他の具体例では、電子機器100は、皮膚テストのためのアプリケーションをさらに含み得る。図5Aから図5Dに示されるように、電子機器100の表示画面194は、皮膚テストのためのアプリケーションのアイコン500を表示する。アイコン500上で行われた操作に応答して、電子機器100は、表示画面194上に皮膚テストのためのアプリケーションのユーザインターフェース510を表示する。ユーザインターフェース510は、仮想ボタン511を含む。電子機器100が仮想ボタン511上で行われた操作を検出した場合、仮想ボタン511上で行われた操作に応答して、表示画面194は、カメラアプリケーションのプレビューインターフェース520を表示し、プレビューインターフェース520はプレビュー領域521を含む。プレビュー領域521は、カメラ193によって取得されたRGB皮膚画像を表示するために使用される。

【0104】

ステップ302．プロセッサ110が、色素の第1のスペクトル応答曲線とRGB画像撮影機能を有する機器の第2のスペクトル応答曲線との間の対応関係に基づいて第1の画像のRチャネル、Bチャネル、およびGチャネルから色素を抽出する。

【0105】

色素は、ヘモグロビン、メラニン、カロテン、リポクローム、および胆汁色素のうちのいずれかを含み得るが、これに限定されない。

【0106】

具体的には、プロセッサ110は、色素の第1のスペクトル応答曲線とRGB画像撮影機能を有する機器の第2のスペクトル応答曲線との間の対応関係に基づいて第1の画像のRチャネル、Bチャネル、およびGチャネルから色素、ならびに第1の画像の3つのチャネル、すなわち、Rチャネル、Gチャネル、およびBチャネルのチャネル値を抽出する。

【0107】

例えば、色素の第1のスペクトル応答曲線は、異なる波長のスペクトルセグメントにおける色素の吸収値、例えば、図6に示されるメラニン（melanin）の吸収スペクトル曲線、オキシヘモグロビン（oxyhemoglobin）の吸収スペクトル曲線、およびデオキシヘモグロビン（deoxyhemoglobin）の吸収スペクトル曲線を反映する。RGB画像撮影機能を有する機器の第2のスペクトル応答曲線は、RGB画像撮影機能を有する機器内の異なる受光ユニットの、異なるスペクトルセグメントに対応する吸収値、例えば、図6に示される赤（R）の受光ユニットの吸収スペクトル曲線、緑（G）の受光ユニットの吸収スペクトル曲線、および青（B）の受光ユニットの吸収スペクトル曲線を反映する。

【0108】

1つの具体例では、第1の画像からメラニンおよびヘモグロビンが抽出される。メラニンおよびヘモグロビンは特定の吸収スペクトルを有するので、メラニンおよびヘモグロビンは、スペクトル分析技術を使用して第1の画像の内部反射成分から分離されることができる。以下で、メラニンおよびヘモグロビンを分離する可能な実施態様を提供する。

【0109】

図6に示されるメラニンの第1のスペクトル応答曲線およびRGB画像撮影機能を有する機器の第2のスペクトル応答曲線に基づいて、メラニンの第1のスペクトル応答曲線とRGB画像撮影機能を有する機器の第2のスペクトル応答曲線との間の第1の関数関係が決定され得る。次いで、RGB画像撮影機能を有する機器のRチャネル、Gチャネル、およびBチャネルのチャネル値ならびに第1の関数関係に基づいて、メラニンと、3つのチャネル、すなわち、Rチャネル、Gチャネル、およびBチャネルのチャネル値との間の対応関係が決定され得る。例えば、この対応関係は以下の式（1）で表される。
M＝g（R，G，B） （1）

【0110】

前述の式（1）において、R、G、およびBは、RGB画像の3つのチャネル、すなわち、Rチャネル、Gチャネル、およびBチャネルのチャネル値をそれぞれ表し、Mは、メラニンのメラニン値であり、gは、3つのチャネル、すなわち、Rチャネル、Gチャネル、およびBチャネルのチャネル値からメラニン値Mへのマッピング関数である。

【0111】

前述の式（1）および図5Cに示されるプレビュー領域521に表示されたRGB皮膚画像から抽出された第1の画像に基づき、第1の画像の3つのチャネル、すなわち、Rチャネル、Gチャネル、およびBチャネルのチャネル値に基づいて第1の画像からメラニンが抽出され得る。このようにして、図7に示されるメラニンに対応するグレースケール画像が取得されることができる。

【0112】

同様に、図6に示されるヘモグロビンの第1のスペクトル応答曲線およびRGB画像撮影機能を有する機器の第2のスペクトル応答曲線に基づいて、ヘモグロビンの第1のスペクトル応答曲線とRGB画像撮影機能を有する機器の第2のスペクトル応答曲線との間の第2の関数関係が決定され得る。次いで、RGB画像撮影機能を有する機器のRチャネル、Gチャネル、およびBチャネルのチャネル値ならびに第2の関数関係に基づいて、ヘモグロビンと、3つのチャネル、すなわち、Rチャネル、Gチャネル、およびBチャネルのチャネル値との間の対応関係が決定され得る。例えば、この対応関係は以下の式（2）で表される。
H＝f（R，G，B） （2）

【0113】

前述の式（2）では、R、G、およびBは、RGB画像の3つのチャネル、すなわち、Rチャネル、Gチャネル、およびBチャネルのチャネル値をそれぞれ表し、Hは、ヘモグロビンのヘモグロビン値であり、fは、3つのチャネル、すなわち、Rチャネル、Gチャネル、およびBチャネルのチャネル値からヘモグロビン値Hへのマッピング関数である。

【0114】

前述の式（2）および図5Cに示されるプレビュー領域521に表示されたRGB皮膚画像から抽出された第1の画像に基づき、第1の画像の3つのチャネル、すなわち、Rチャネル、Gチャネル、およびBチャネルのチャネル値に基づいて第1の画像からヘモグロビンが抽出され得る。このようにして、図8に示されるヘモグロビンに対応するグレースケール画像が取得されることができる。

【0115】

前述の式（1）および式（2）は、既存の研究で提供された数学モデルであってもよく、または機械学習アルゴリズムを使用した訓練によって取得されたモデルであってもよいことに留意されたい。

【0116】

ステップ303．プロセッサ110が、抽出された色素に基づいて疑似カラー画像を生成し、疑似カラー画像を表示する。

【0117】

1つの具体例では、プロセッサ110は、抽出された色素に基づいてグレースケール画像（図7に示されるメラニン結果画像および図8に示されるヘモグロビン結果画像）を生成し、次いでグレースケール画像を疑似カラー画像に変換する。このようにして、ユーザに直感的な色素検出結果が提示されることができるので、ユーザは、疑似カラー画像からより多くの情報を得ることができる。

【0118】

具体的には、疑似カラー画像は、事前設定されたカラールックアップテーブルを使用したマッピングによって取得され得る。例えば、カラールックアップテーブルは、異なるグレースケール値と、R値、G値、およびB値との間のマッピング関係を含み得る。このようにして、グレースケール画像内の各画素のグレースケール値に対応するR値、G値、およびB値を探索することによって疑似カラー画像は取得されることができる。

【0119】

さらに、より正確な色素検出結果を取得するために、プロセッサ110は、生成されたグレースケール画像に対して、正規化処理やコントラスト強化処理などの後処理を行い、次いで、後処理されたグレースケール画像を疑似カラー画像に変換し得る。

【0120】

前述の解決策によれば、プロセッサ110は、検出対象のRGB皮膚画像から第1の画像を抽出し、第1の画像はRGB皮膚画像における内部反射成分を表すために使用され、RGB皮膚画像はRGB画像撮影機能を有する機器によって撮影され、プロセッサ110は、色素の第1のスペクトル応答曲線とRGB画像撮影機能を有する機器の第2のスペクトル応答曲線との間の関係に基づいて第1の画像から色素を抽出する。このようにして、プロセッサ110が、スペクトル応答関係に基づいて色素を抽出するので、様々なシナリオで撮影されたRGB皮膚画像内の色素が検出されることができ、様々なシナリオで取得された皮膚画像を使用して事前に訓練が行われて初めて色素検出が行われることができる先行技術の問題を回避する。したがって、この解決策に基づく色素検出は、比較的良好な適用性を有する。

【0121】

前述の実施形態に基づき、RGB皮膚画像から抽出される第1の画像の忠実度を向上させるために、以下で任意選択の実施態様を提供し、ステップ301は、以下のステップS1からS3を使用して実施される。

【0122】

S1．プロセッサ110が、検出対象のRGB皮膚画像を第1のLab画像に変換する。

【0123】

具体的には、プロセッサ110は、検出対象のRGB皮膚画像をRGB色空間からLab色空間に変換して、第1のLab画像を取得する。RGB色空間からLab色空間への変換は、業界で開示されているアルゴリズムを使用して行われることができる。

【0124】

RGB色空間は3つのチャネル、すなわち、Rチャネル、Gチャネル、およびBチャネルを含む。検出対象のRGB皮膚画像内の各画素の色は、R値、G値、およびB値を含み、すべての画素のR値がRチャネルを形成し、すべての画素のG値がGチャネルを形成し、すべての画素のB値がBチャネルを形成する。

【0125】

Lab色空間は3つのチャネル、すなわち、Lチャネル、aチャネル、およびbチャネルを含む。Lは、画素の輝度を表し、色情報とは無関係である。aおよびbは、画素の色に関連し、画素の輝度とは無関係である。aは、マゼンタから緑までの範囲を表し、bは、黄色から青までの範囲を表す。第1のLab画像内の各画素の色は、L値、a値、およびb値を含む。第1のLab画像内のすべての画素のL値がLチャネルを形成し、すべての画素のa値がaチャネルを形成し、すべての画素のb値がbチャネルを形成する。

【0126】

RGB皮膚画像のRチャネル、GチャネルおよびBチャネルに対してフィルタリング処理が行われる場合、フィルタリング結果において色のオーバーラップが発生し得る。その結果、取得される画像の忠実度が低下する。検出対象のRGB皮膚画像は第1のLab画像に変換されるので、色関連情報と非色関連情報とが分離されて、第1のLab画像内の色関連情報を切り離して処理することができる。

【0127】

S2．プロセッサ110が、第1のLab画像のLチャネル、aチャネル、およびbチャネルの各々から内部反射成分を抽出する。

【0128】

例えば、プロセッサ110は、第1のLab画像のLチャネル、aチャネル、およびbチャネルに対するフィルタリング処理を別々に行って、第1のLab画像のLチャネル、aチャネル、およびbチャネルの内部反射成分を取得し得る。

【0129】

第1のLab画像のLチャネル、aチャネル、およびbチャネルの各々の初期値は、内部反射成分および表面反射成分を含む。一実施態様では、第1のLab画像のLチャネル、aチャネル、およびbチャネルの初期値に対してフィルタリング処理が別々に行われて、第1のLab画像のLチャネル、aチャネル、およびbチャネルの表面反射成分を取得し、次いで、Lチャネル、aチャネル、およびbチャネルの内部反射成分が決定される。第1のLab画像のLチャネルの内部反射成分は、第1のLab画像のLチャネルの初期値と第1のLab画像のLチャネルの表面反射成分との差であり、第1のLab画像のaチャネルの内部反射成分は、第1のLab画像のaチャネルの初期値と第1のLab画像のaチャネルの表面反射成分との差であり、第1のLab画像のbチャネルの内部反射成分は、第1のLab画像のbチャネルの初期値と第1のLab画像のbチャネルの表面反射成分との差である。このようにして、Lチャネル、aチャネル、およびbチャネルの表面反射成分が除去されて、Lチャネル、aチャネル、およびbチャネルからの内部反射成分を正確に抽出し得る。

【0130】

さらに、色素検出の精度を向上させるために、第1のLab画像のすべてのLチャネル、aチャネル、およびbチャネルの表面反射成分は、第1のLab画像のLチャネル、aチャネル、およびbチャネルの初期値に対してバイラテラルフィルタリング処理を別々に行うことによって取得される。この解決策は、第1の画像のエッジ情報をさらに保持するのに役立ち、それによって色素検出の精度を向上させる。

【0131】

S3．プロセッサ110が、第2のLab画像を取得するために第1のLab画像のLチャネル、aチャネル、およびbチャネルから抽出された内部反射成分を合成する。

【0132】

S4．プロセッサ110が、第1の画像を取得するために第2のLab画像をRGB画像に変換する。

【0133】

具体的には、プロセッサ110は、第2のLab画像をLab色空間からRGB色空間に変換して、第1の画像を取得する。Lab色空間からRGB色空間への変換は、業界で開示されているアルゴリズムを使用して行われることができる。

【0134】

ステップS1からステップS4によれば、色関連情報と非色関連情報とが分離して処理されることができ、よって第1の画像の忠実度を向上させるのに役立つ。

【0135】

本出願の前述の実施形態は組み合わせて使用されてもよく、または別々に使用されてもよいことを理解されたい。

【0136】

本出願で提供される前述の実施形態では、本出願の実施形態で提供される方法が、実行主体として機能する電子機器の観点から説明されている。本出願の実施形態で提供される方法における機能を実施するために、電子機器は、ハードウェア構造および／またはソフトウェアモジュールを含み、ハードウェア構造、ソフトウェアモジュール、またはハードウェア構造とソフトウェアモジュールの組み合わせの形態で機能を実施し得る。前述の機能における機能が、ハードウェア構造によって行われるか、ソフトウェアモジュールによって行われるか、それともハードウェア構造とソフトウェアモジュールの組み合わせによって行われるかは、特定の用途および技術的解決策の設計制約に依存する。

【0137】

同じ概念に基づき、図9に、本出願による電子機器900を示す。例えば、電子機器900は、少なくとも1つのプロセッサ910と、メモリ920と、表示画面930とを含み、表示画面930とカメラ940とをさらに含み得る。プロセッサ910は、メモリ920、表示画面930、およびカメラ940に結合される。本出願のこの実施形態における結合は、装置間、ユニット間、またはモジュール間の間接結合または通信接続であり、電気的形態、機械的形態、または他の形態であってもよく、装置間、ユニット間、またはモジュール間の情報交換に使用される。

【0138】

具体的には、メモリ920は、プログラム命令を格納するように構成される。

【0139】

プロセッサ910は、メモリ920に格納されたプログラム命令を呼び出すように構成され、よって電子機器900は、図3に示される色素検出方法において電子機器によって行われるステップを行う。

【0140】

表示画面930は、プロセッサ910によって取得された色素検出結果を表示する、例えば、ステップ303の疑似カラー画像を表示するように構成される。表示画面は、カメラ940が撮影を開始するときにプレビューインターフェースを表示するようにさらに構成されてもよく、プレビューインターフェースは、カメラ940によって取得された画像を含み、前述の実施形態で設計されたユーザインターフェースを表示するために使用される。

【0141】

電子機器900は、本出願の実施形態の図3に示される色素検出方法を実施するように構成され得ることを理解されたい。関連する特徴については、前述の説明を参照されたい。詳細については、ここでは再度説明されない。

【0142】

本出願の実施形態がハードウェア、ファームウェア、またはそれらの組み合わせを使用して実施され得ることを当業者は明確に理解し得る。本発明がソフトウェアによって実施される場合、前述の機能は、コンピュータ可読媒体に格納され得るか、またはコンピュータ可読媒体において1つもしくは複数の命令もしくはコードとして伝送され得る。コンピュータ可読媒体は、コンピュータ記憶媒体および通信媒体を含み、通信媒体は、コンピュータプログラムがある場所から別の場所に伝送されることを可能にする任意の媒体を含む。記憶媒体は、コンピュータにアクセス可能な任意の利用可能な媒体であり得る。限定ではなく例として、コンピュータ可読媒体は、RAM、ROM、電気的消去可能プログラム可能読み出し専用メモリ（electrically erasable programmable read－only memory、EEPROM）、コンパクトディスク読み出し専用メモリ（compact disc read－Only memory、CD－ROM）もしくは別の光ディスク記憶装置、磁気ディスク記憶媒体もしくは別の磁気記憶デバイス、または予期されるプログラムコードを命令もしくはデータ構造形式で搬送もしくは格納するために使用されることができる任意の他のコンピュータアクセス可能媒体を含み得る。加えて、任意の接続もコンピュータ可読媒体として適切に定義され得る。例えば、ソフトウェアが、ウェブサイト、サーバまたは別のリモートソースから、同軸ケーブル、光ファイバ／ケーブル、ツイストペア、デジタル加入者線（digital subscriber line、DSL）、または赤外線、電波およびマイクロ波などの無線技術を使用して伝送される場合、同軸ケーブル、光ファイバ／ケーブル、ツイストペア、DSL、または赤外線、電波およびマイクロ波などの無線技術は、それらが属する媒体の固定に含まれる。本出願の実施形態によって使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（compact disc、CD）、レーザーディスク（登録商標）、デジタルビデオディスク（digital video disc、DVD）、フロッピーディスクおよびブルーレイディスクを含み、diskは一般に磁気的手段によってデータをコピーし、discはレーザー手段によって光学的にデータをコピーする。コンピュータ可読媒体の保護範囲には前述の組み合わせも含まれるべきである。

【0143】

要約すると、以上の説明は、本出願の実施形態にすぎず、本出願の保護範囲を限定するためのものではない。本出願の開示に従ってなされた改変、同等の交換、改善などは、本出願の保護範囲内に入るものとする。

【符号の説明】

【0144】

100 電子機器
110 プロセッサ
120 外部メモリインターフェース
121 内部メモリ
130 USBインターフェース
140 充電管理モジュール
141 電源管理モジュール
142 バッテリー
150 移動通信モジュール
160 無線通信モジュール
170 オーディオモジュール
170A ラウドスピーカ
170B 電話受話器
170C マイクロフォン
170D ヘッドセットジャック
180 センサモジュール
180A 圧力センサ
180B ジャイロスコープセンサ
180C 気圧センサ
180D 磁気センサ
180E 加速度センサ
180F 距離センサ
180G 光学式近接センサ
180H 指紋センサ
180J 温度センサ
180K タッチセンサ
180L 周囲光センサ
180M 骨伝導センサ
190 キー
191 モータ
192 インジケータ
193 カメラ
194 表示画面
195 SIMカードインターフェース
200 ユーザインターフェース
201 仮想ボタン
202 仮想ボタン
203 仮想ボタン
204 仮想ボタン
205 仮想ボタン
400 アイコン
410 プレビューインターフェース
411 プレビュー領域
412 仮想ボタン
500 アイコン
510 ユーザインターフェース
511 仮想ボタン
512 写真選択領域
513 第1のボタン
514 第2のボタン
520 RGB皮膚画像プレビューインターフェース
521 プレビュー領域
900 電子機器
910 プロセッサ
920 メモリ
930 表示画面
940 カメラ
H ヘモグロビン値
M メラニン値

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図5C】

【図5D】

【図6】

【図7】

【図8】

【図9】