IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アークソフト コーポレイション リミテッドの特許一覧

特表2022-528128肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体
<>
  • 特表-肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体 図1
  • 特表-肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体 図2
  • 特表-肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体 図3
  • 特表-肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体 図4
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-06-08
(54)【発明の名称】肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体
(51)【国際特許分類】
   G06T 7/00 20170101AFI20220601BHJP
   G06T 7/90 20170101ALI20220601BHJP
   G06T 1/00 20060101ALI20220601BHJP
   A61B 5/107 20060101ALI20220601BHJP
【FI】
G06T7/00 660A
G06T7/90 A
G06T1/00 340A
A61B5/107 800
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021559127
(86)(22)【出願日】2020-04-09
(85)【翻訳文提出日】2021-10-04
(86)【国際出願番号】 CN2020083894
(87)【国際公開番号】W WO2020207423
(87)【国際公開日】2020-10-15
(31)【優先権主張番号】201910292616.3
(32)【優先日】2019-04-12
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】519262146
【氏名又は名称】アークソフト コーポレイション リミテッド
【氏名又は名称原語表記】ArcSoft Corporation Limited
【住所又は居所原語表記】22 and 23F,Building A,Tiantang Software Park,3 Xidoumen Rd.Xihu Dist.,Hangzhou,Zhejiang,CN
(74)【代理人】
【識別番号】110002066
【氏名又は名称】特許業務法人筒井国際特許事務所
(72)【発明者】
【氏名】ツァイ,シーミン
(72)【発明者】
【氏名】シュー,ヘーフアン
(72)【発明者】
【氏名】ワン,ジン
【テーマコード(参考)】
4C038
5B057
5L096
【Fターム(参考)】
4C038VA04
4C038VB03
4C038VB22
4C038VC01
4C038VC05
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CE09
5B057CE11
5B057CE18
5B057DC04
5B057DC16
5B057DC25
5L096BA18
5L096DA02
5L096EA05
5L096EA12
5L096FA06
5L096FA15
5L096FA52
5L096FA55
5L096FA59
5L096FA69
5L096GA41
5L096JA11
5L096JA22
5L096KA04
(57)【要約】
本出願は、肌質測定方法、肌質等級分類方法及び肌質測定装置を開示する。肌質測定方法は、顔画像を取得し、顔画像中の顔の肌色領域及び顔特徴点を取得し、顔の肌色領域及び顔特徴点に基づいて顔画像の顔肌質特徴を取得し、それによって、顔画像に基づいて顔肌質特徴を測定でき、かつハードウェアコスト及び体積を増加させずに、需要に応じて、より多くの肌質特徴を測定し、測定精度を向上させる。さらに従来技術で測定された肌質特徴が少なく、測定精度が低く、かつハードウェアコストが高く、体積が大きいという問題を解決する。
【選択図】図1
【特許請求の範囲】
【請求項1】
肌質測定方法であって、
顔画像を取得するステップと、
前記顔画像中の顔の肌色領域及び顔特徴点を取得するステップと、
前記顔の肌色領域及び前記顔特徴点に基づいて前記顔画像の顔肌質特徴を取得するステップと、を含む、肌質測定方法。
【請求項2】
前記顔画像中の顔の肌色領域及び顔特徴点を取得するステップは、
肌色測定アルゴリズムを用いて前記顔の肌色領域を取得するステップを含む、請求項1に記載の方法。
【請求項3】
前記顔特徴点に基づいて前記顔画像の五官領域をカットアウトし、前記顔の肌色領域を取得するステップを、さらに含む、請求項1に記載の方法。
【請求項4】
形態学的アルゴリズムを用いて前記顔の肌色領域を処理し、カットアウトされる前記五官領域を拡大するステップを、さらに含む、請求項3に記載の方法。
【請求項5】
前記顔肌質特徴は、肌色、斑点、毛穴、皺、隈、滑らかさのうちの少なくとも1つを含む、請求項1に記載の方法。
【請求項6】
前記顔の肌色領域及び前記顔特徴点に基づいて前記顔画像の顔肌質特徴を取得するステップは、
ハイコントラストアルゴリズムを用いて前記顔の肌色領域の詳細図を取得するステップを含む、請求項1に記載の方法。
【請求項7】
前記顔特徴点に基づいて顔方向情報を取得するステップを、さらに含む、請求項1に記載の方法。
【請求項8】
前記顔肌質特徴が斑点及び/又は毛穴を含む場合、前記顔の肌色領域及び前記顔特徴点に基づいて前記顔画像の顔肌質特徴を取得するステップは、
第1の所定アルゴリズムを用いて前記詳細図中の前記斑点及び/又は毛穴の測定結果を取得するステップと、
形状特徴に基づいて前記斑点及び/又は毛穴を区別するステップと、をさらに含む、請求項6に記載の方法。
【請求項9】
前記顔肌質特徴が皮膚の滑らかさを含む場合、
前記斑点及び/又は毛穴の測定結果に基づいて、グレーレベル同時生起行列アルゴリズムによって前記皮膚の滑らかさを取得するステップを含む、請求項8に記載の方法。
【請求項10】
前記顔肌質特徴が皺を含む場合、前記顔の肌色領域及び前記顔特徴点に基づいて前記顔画像の顔肌質特徴を取得するステップは、
第2の所定アルゴリズムを用いて前記詳細図中の前記皺の測定結果を取得するステップと、
顔方向情報及び前記顔特徴点に基づいて前記皺の種類を決定するステップと、をさらに含む、請求項6に記載の方法。
【請求項11】
前記顔肌質特徴が隈を含む場合、前記顔の肌色領域及び前記顔特徴点に基づいて前記顔画像の顔肌質特徴を取得するステップは、
前記顔特徴点のうちの眼部特徴点に基づいて、前記顔画像において上下2本のベジェ曲線を描き、前記隈の位置に位置決めして、前記隈の位置の輝度平均値と周囲領域との差異性を判断することによって、前記顔画像中の前記隈の測定結果を取得するステップを含む、請求項1に記載の方法。
【請求項12】
前記顔画像に対して強調処理を行い、強調された顔画像を取得するステップを、さらに含む、請求項1~11のいずれか1項に記載の方法。
【請求項13】
前記顔画像に対して強調処理を行い、強調された顔画像を取得するステップは、
前記顔画像の輝度情報を取得するステップと、
前記顔画像中の低階調値領域のコントラストを強調し、前記強調された顔画像を取得するステップと、を含む、請求項12に記載の方法。
【請求項14】
前記顔画像の輝度情報を取得するステップは、
色変換アルゴリズムによって前記顔画像をYUVフォーマット画像に変換し、前記YUVフォーマット画像中のYチャンネル画像を抽出することで、顔画像の輝度情報を取得するステップを含む、請求項13に記載の方法。
【請求項15】
請求項1~14のいずれか1項に記載の肌質測定方法を用いて、前記顔肌質特徴を取得するステップと、
前記顔肌質特徴に基づいて、機械学習方法を用いて顔肌質を異なる等級に分けるステップと、を含む、肌質等級分類方法。
【請求項16】
前記顔肌質の異なる等級に応じて対応する美顔パラメータを設定し、スマート美顔を実現するステップを含む、請求項15に記載の方法。
【請求項17】
ビデオ通話又は写真撮り機能を有する電子機器に適用される、請求項16に記載の方法。
【請求項18】
顔画像を取得するように構成されている画像収集モジュールと、
前記顔画像中の顔の肌色領域及び顔特徴点を取得するように構成されている取得モジュールと、
前記顔の肌色領域及び前記顔特徴点に基づいて顔画像の顔肌質特徴を測定するように構成されている肌質測定モジュールと、を含む、肌質測定装置。
【請求項19】
前記取得モジュールは、肌色測定アルゴリズムによって前記顔画像中の前記顔の肌色領域を取得するように構成されている肌色取得モジュールを含む、請求項18に記載の装置。
【請求項20】
前記肌色取得モジュールは、さらに、前記顔特徴点に基づいて前記顔画像の五官領域をカットアウトし、前記顔の肌色領域を取得するように構成されている、請求項19に記載の装置。
【請求項21】
前記肌色取得モジュールは、さらに、形態学的アルゴリズムを用いて前記顔の肌色領域を処理し、カットアウトされる前記五官領域を拡大するように構成されている、請求項20に記載の装置。
【請求項22】
前記顔肌質特徴は、肌色、斑点、毛穴、皺、隈、滑らかさのうちの少なくとも1つを含む、請求項18に記載の装置。
【請求項23】
前記肌質測定モジュールは、さらに、ハイコントラストアルゴリズムを用いて前記顔の肌色領域の詳細図を取得するように構成されている、請求項18に記載の装置。
【請求項24】
前記肌質測定モジュールは、さらに、前記顔特徴点に基づいて顔方向情報を取得するように構成されている、請求項18に記載の装置。
【請求項25】
前記肌質測定モジュールは、
第1の所定アルゴリズムを用いて前記詳細図中の前記斑点及び/又は毛穴の測定結果を取得し、形状特徴に基づいて前記斑点及び/又は毛穴を区別するように構成されている斑点毛穴測定モジュールを含む、請求項23に記載の装置。
【請求項26】
前記肌質測定モジュールは、
前記斑点及び/又は毛穴の測定結果に基づいて、グレーレベル同時生起行列アルゴリズムによって前記皮膚の滑らかさを取得するように構成されている皮膚滑らかさ測定モジュールを含む、請求項25に記載の装置。
【請求項27】
前記肌質測定モジュールは、
第2の所定アルゴリズムを用いて前記詳細図中の前記皺の測定結果を取得し、顔方向情報及び前記顔特徴点に基づいて前記皺の種類を決定するように構成されている皺測定モジュールを含む、請求項23に記載の装置。
【請求項28】
前記肌質測定モジュールは、
前記顔特徴点のうちの眼部特徴点に基づいて、前記顔画像において上下2本のベジェ曲線を描き、前記隈の位置に位置決めして、前記隈の位置の輝度平均値と周囲領域との差異性を判断することによって、前記顔画像中の前記隈の測定結果を取得するように構成されている隈測定モジュールを含む、請求項18に記載の装置。
【請求項29】
前記顔画像に対して強調処理を行いて、強調された顔画像を取得するように構成されている画像強調モジュールを、さらに含む、請求項18~28のいずれか1項に記載の装置。
【請求項30】
前記画像強調モジュールは、
前記顔画像の輝度情報を取得するように構成されている輝度情報取得ユニットと、
前記顔画像中の低階調値領域のコントラストを強調し、前記強調された顔画像を取得するように構成されているコントラスト強調ユニットと、を含む、請求項29に記載の装置。
【請求項31】
前記輝度情報取得ユニットは、さらに、色変換アルゴリズムによって前記顔画像をYUVフォーマット画像に変換し、前記YUVフォーマット画像中のYチャンネル画像を抽出することで、顔画像の輝度情報を取得するように構成されている、請求項30に記載の装置。
【請求項32】
電子機器であって、
プロセッサと、
前記プロセッサの実行可能な命令を記憶するように構成されているメモリと、を含み、
前記プロセッサは、前記実行可能な命令を実行することによって、請求項1~14のいずれか1項に記載の肌質測定方法を実行するように構成されている、電子機器。
【請求項33】
記憶されるプログラムを含む記憶媒体であって、
前記プログラムは、実行されると、前記記憶媒体が属する機器を制御し、請求項1~14のいずれか1項に記載の肌質測定方法を実行させる、記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、2019年04月12日に中国特許庁に提出された、優先権番号が201910292616.3であり、発明名称が「肌質測定方法、肌質等級分類方法及び肌質測定装置」である中国特許出願の優先権を主張し、その内容の全てが本出願の一部として本出願に組み込まされる。
【0002】
本出願は、コンピュータ視覚処理技術に関し、具体的には、肌質測定方法、肌質等級分類方法及び肌質測定装置に関する。
【背景技術】
【0003】
社会発展及び生活水準の向上に伴い、人々は自分の外観をますます重視し、特に肌質への注目度がますます高まり、通常、一般的な人為的観察により、いくつかの一般的な問題性皮膚を判別することができるが、肌質をより正確に測定しようとすると、科学的手段により実現する必要がある。現在、肌質測定に応用される主な技術手段は、生体インピーダンス分析法があり、生体インピーダンス分析法は、皮膚の電気インピーダンス特性を測定することにより皮膚の質を評価するが、このような方法で測定された肌質の特徴が少なく、皮膚の水分及び脂肪分泌のみを測定することができ、かつ測定機器が皮膚に直接接触する必要があるため、接触インピーダンスによる測定結果に対する影響が大きく、測定精度が低い。
【0004】
また、このような方法は、専門的なハードウェア機器を追加して配置する必要があるが、これらの機器のほとんどは、専門家しか操作できず、かつユーザーが特定の測定場所で完了する必要があり、適用される消費者及び適用されるシーンがいずれも制限され、また、これらのハードウェア機器のコストが高く、実際の普及及び応用が困難である。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本出願の実施例は、従来技術で測定された肌質特徴が少なく、測定精度が低く、かつかつハードウェアコストが高く、体積が大きいという問題を少なくとも解決する肌質測定方法、肌質等級分類方法及び肌質測定装置を提供する。
【課題を解決するための手段】
【0006】
本出願の一実施例の一態様によれば、肌質測定方法が提供され、該方法は、顔画像を取得するステップと、前記顔画像中の顔の肌色領域及び顔特徴点を取得するステップと、前記顔の肌色領域及び前記顔特徴点に基づいて前記顔画像の顔肌質特徴を取得するステップと、を含む。
【0007】
好ましくは、前記顔画像中の顔の肌色領域及び顔特徴点を取得するステップは、肌色測定アルゴリズムを用いて前記顔の肌色領域を取得するステップを含む。
【0008】
好ましくは、前記方法は、前記顔特徴点に基づいて前記顔画像の五官領域をカットアウトし、前記顔の肌色領域を取得するステップを、さらに含む。
【0009】
好ましくは、前記方法は、形態学的アルゴリズムを用いて前記顔の肌色領域を処理し、カットアウトされる前記五官領域を拡大するステップを、さらに含む。
【0010】
好ましくは、前記顔肌質特徴は、肌色、斑点、毛穴、皺、隈、滑らかさのうちの少なくとも1つを含む。
【0011】
好ましくは、前記顔の肌色領域及び前記顔特徴点に基づいて前記顔画像の顔肌質特徴を取得するステップは、ハイコントラストアルゴリズムを用いて前記顔の肌色領域の詳細図を取得するステップを含む。
【0012】
好ましくは、前記方法は、前記顔特徴点に基づいて顔方向情報を取得するステップを、さらに含む。
【0013】
好ましくは、前記顔肌質特徴が斑点及び/又は毛穴を含む場合、前記顔の肌色領域及び前記顔特徴点に基づいて前記顔画像の顔肌質特徴を取得するステップは、第1の所定アルゴリズムを用いて前記詳細図中の前記斑点及び/又は毛穴の測定結果を取得するステップと、形状特徴に基づいて前記斑点及び/又は毛穴を区別するステップと、をさらに含む。
【0014】
好ましくは、前記顔肌質特徴が皮膚の滑らかさを含む場合、前記方法は、前記斑点及び/又は毛穴の測定結果に基づいて、グレーレベル同時生起行列アルゴリズムによって前記皮膚の滑らかさを取得するステップを含む。
【0015】
好ましくは、前記顔肌質特徴が皺を含む場合、前記顔の肌色領域及び前記顔特徴点に基づいて前記顔画像の顔肌質特徴を取得するステップは、第2の所定アルゴリズムを用いて前記詳細図中の前記皺の測定結果を取得するステップと、顔方向情報及び前記顔特徴点に基づいて前記皺の種類を決定するステップと、をさらに含む。
【0016】
好ましくは、前記顔肌質特徴が隈を含む場合、前記顔の肌色領域及び前記顔特徴点に基づいて前記顔画像の顔肌質特徴を取得するステップは、前記顔特徴点のうちの眼部特徴点に基づいて、前記顔画像において上下2本のベジェ曲線を描き、前記隈の位置に位置決めして、前記隈の位置の輝度平均値と周囲領域との差異性を判断することによって、前記顔画像中の前記隈の測定結果を取得するステップを含む。
【0017】
好ましくは、前記肌質測定は、前記顔画像に対して強調処理を行い、強調された顔画像を取得するステップを、さらに含む。
【0018】
好ましくは、前記顔画像に対して強調処理を行い、強調された顔画像を取得するステップは、前記顔画像の輝度情報を取得するステップと、前記顔画像中の低階調値領域のコントラストを強調し、前記強調された顔画像を取得するステップと、を含む。
【0019】
好ましくは、前記顔画像の輝度情報を取得するステップは、色変換アルゴリズムによって前記顔画像をYUVフォーマット画像に変換し、前記YUVフォーマット画像中のYチャンネル画像を抽出することで、顔画像の輝度情報を取得するステップを含む。
【0020】
本出願の一実施例の一態様によれば、肌質等級分類方法が提供され、前記方法は、上記のいずれかに記載の肌質測定方法を用いて、前記顔肌質特徴を取得するステップと、前記顔肌質特徴に基づいて、機械学習方法を用いて顔肌質を異なる等級に分けるステップと、を含む。
【0021】
好ましくは、前記方法は、前記顔肌質の異なる等級に応じて対応する美顔パラメータを設定するステップを含む。
【0022】
好ましくは、前記方法は、ビデオ通話又は写真撮り機能を有する電子機器に適用される。
【0023】
本出願の一実施例の別の態様によれば、肌質測定装置が提供され、前記肌質測定装置は、顔画像を取得するように構成されている画像収集モジュールと、前記顔画像中の顔の肌色領域及び顔特徴点を取得するように構成されている取得モジュールと、前記顔の肌色領域及び前記顔特徴点に基づいて顔画像の顔肌質特徴を測定するように構成されている肌質測定モジュールとを含む。
【0024】
好ましくは、前記取得モジュールは、肌色測定アルゴリズムによって前記顔画像中の前記顔の肌色領域を取得するように構成されている肌色取得モジュールを含む。
【0025】
好ましくは、前記肌色取得モジュールは、さらに、前記顔特徴点に基づいて前記顔画像の五官領域をカットアウトし、前記顔の肌色領域を取得するように構成されている。
【0026】
好ましくは、前記肌色取得モジュールは、さらに、形態学的アルゴリズムを用いて前記顔の肌色領域を処理し、カットアウトされる前記五官領域を拡大するように構成されている。
【0027】
好ましくは、前記顔肌質特徴は、肌色、斑点、毛穴、皺、隈、滑らかさのうちの少なくとも1つを含む。
【0028】
好ましくは、前記肌質測定モジュールは、さらに、ハイコントラストアルゴリズムを用いて前記顔の肌色領域の詳細図を取得するように構成されている。
【0029】
好ましくは、前記肌質測定モジュールは、さらに、前記顔特徴点に基づいて顔方向情報を取得するように構成されている。
【0030】
好ましくは、前記肌質測定モジュールは、第1の所定アルゴリズムを用いて前記詳細図中の前記斑点及び/又は毛穴の測定結果を取得し、形状特徴に基づいて前記斑点及び/又は毛穴を区別するように構成されている斑点毛穴測定モジュールを含む。
【0031】
好ましくは、前記肌質測定モジュールは、前記斑点及び/又は毛穴の測定結果に基づいて、グレーレベル同時生起行列アルゴリズムによって前記皮膚の滑らかさを取得するように構成されている皮膚滑らかさ測定モジュールを含む。
【0032】
好ましくは、前記肌質測定モジュールは、第2の所定アルゴリズムを用いて前記詳細図中の前記皺の測定結果を取得し、顔方向情報及び前記顔特徴点に基づいて前記皺の種類を決定するように構成されている皺測定モジュールを含む。
【0033】
好ましくは、前記肌質測定モジュールは、前記顔特徴点のうちの眼部特徴点に基づいて、前記顔画像において上下2本のベジェ曲線を描き、前記隈の位置に位置決めし、前記隈の位置の輝度平均値と周囲領域との差異性を判断することによって、前記顔画像中の前記隈の測定結果を取得するように構成されている隈測定モジュールを含む。
【0034】
好ましくは、前記装置は、前記顔画像に対して強調処理を行いて、強調された顔画像を取得するように構成されている画像強調モジュールを、さらに含む。
【0035】
好ましくは、前記画像強調モジュールは、前記顔画像の輝度情報を取得するように構成されている輝度情報取得ユニットと、前記顔画像中の低階調値領域のコントラストを強調し、前記強調された顔画像を取得するように構成されているコントラスト強調ユニットと、を含む。
【0036】
好ましくは、輝度情報取得ユニットは、さらに、色変換アルゴリズムによって前記顔画像をYUVフォーマット画像に変換し、前記YUVフォーマット画像中のYチャンネル画像を抽出することで、顔画像の輝度情報を取得するように構成されている。
【0037】
本出願の一実施例の別の態様によれば、電子機器が提供され、プロセッサ、及び前記プロセッサの実行可能な命令を記憶するように構成されているメモリを含み、前記プロセッサは、前記実行可能な命令を実行することによって、上記のいずれかの肌質測定方法を実行するように構成されている。
【0038】
本出願の一実施例の別の態様によれば、記憶媒体が提供され、前記記憶媒体は、記憶されるプログラムを含み、前記プログラムは、実行されると、前記記憶媒体が属する機器を制御し、上記のいずれかの肌質測定方法を実行させる。
【発明の効果】
【0039】
本出願の一実施例では、顔画像を取得し、顔画像中の顔の肌色領域及び顔特徴点を取得し、顔の肌色領域及び顔特徴点に基づいて顔画像の顔肌質特徴を取得し、顔画像に基づいて顔肌質特徴を測定でき、かつハードウェアコスト及び体積を増加させずに、需要に応じて、より多くの肌質特徴を測定し、測定精度を向上させる。従来技術における測定される肌質特徴が少なく、測定精度が低く、かつハードウェアコストが高く、体積が大きいという問題をさらに解決する。
【図面の簡単な説明】
【0040】
ここで説明される図面は、本出願に対するさらなる理解を提供し、本出願の一部を構成し、本出願の例示的な実施例及びその説明は、本出願を解釈するためのであり、本出願の不適切な制限を構成するものではない。
図1図1は本出願の一実施例による好ましい肌質測定方法のフローチャートである。
図2図2は本出願の一実施例による好ましい肌質等級分類方法のフローチャートである。
図3図3は本出願の一実施例による好ましい肌質測定装置の構造ブロック図である。
図4図4は本出願の一実施例による好ましい電子機器の構造ブロック図である。
【発明を実施するための形態】
【0041】
本出願における解決策を当業者がさらに深く理解できるように、以下、本出願の実施の形態における技術的解決策を添付の図面を参照して説明する。当然ながら、記載した実施の形態は本出願の実施の形態の全てではなく一部に過ぎない。本出願の実施の形態に基づき当業者が創造的活動を行うことなく得る他の実施の形態は全て、本出願の保護範囲に含まれる。
【0042】
なお、本出願の明細書、特許請求の範囲及び上記図面における用語「第1の」、「第2の」は、類似の対象物を区別することを意図したものであり、必ずしも特定の順序又は配列を示すものではないことに留意されたい。このように使用される数字は、適切な状況では交換可能であり、そのため、ここに記載する本出願の実施の形態は、ここに図示又は記載した順序以外の順序で実施可能であることを理解すべきである。
【0043】
また、「含む」、「備える」といった用語又はそれらの変形は、排他的でないものを含むことを意図するものである。例えば、一連のステップ又はユニットを含む工程、方法、システム、製品、又は、デバイスは、必ずしも列挙されたステップ又はユニットに限定されるものではなく、列挙されていない、あるいは、これらの工程、方法、システム、製品、又は、デバイスに固有の他のステップ又はユニットを含むことができる。
【0044】
本出願の実施例は、コンピュータシステム/サーバに適用され、多数の他の汎用又は特定用途向けのコンピューティングシステム環境又は構成で動作可能である。コンピュータシステム/サーバで使用するのに好適な可能性のある、よく知られたコンピューティングシステム、環境及び/又は構成の例には、パーソナルコンピュータシステム、ハンドヘルド又はラップトップデバイス、マイクロプロセッサベースシステム、プログラム可能な消費電子製品、小型コンピュータシステム、大型コンピュータシステム及び上記システムのうちのいずれかを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限られない。
【0045】
コンピュータシステム/サーバは、コンピュータシステムにより実行されるコンピュータシステム実行可能な命令(例えば、プログラムモジュールなど)の一般的な文脈で説明することができる。通常、プログラムモジュールは、ルーチン、プログラム、ターゲットプログラム、コンポーネント、ロジック及びデータ構造などを含むことができ、特定のタスクを実行する又は特定の抽象データタイプを実現する。
【0046】
コンピュータシステム/サーバは、分散型クラウドコンピューティング環境で実施することができ、通信ネットワークを通じてリンクされる遠隔処理機器によりタスクが実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは、記憶デバイスを含むローカル又は遠隔コンピューティングシステム記憶媒体に配置することができる。
【0047】
以下、詳細な実施例を通して本出願について説明する。
【0048】
本出願の一態様によれば、肌質測定方法が提供される。図1は、本出願の一実施例による好ましい肌質測定方法のフローチャートである。図1に示すように、該方法は、ステップは、S10、S12、及びS14を含む。
【0049】
S10において、顔画像を取得する。
【0050】
S12において、顔画像中の顔の肌色領域及び顔特徴点を取得する。
【0051】
S14において、顔の肌色領域及び顔特徴点に基づいて顔画像の顔肌質特徴を取得する。
【0052】
本出願の実施例では、上記ステップ、すなわち、顔画像を取得し、顔画像中の顔の肌色領域及び顔特徴点を取得し、顔の肌色領域及び顔特徴点に基づいて顔画像の顔肌質特徴を取得するステップによって、顔画像に基づいて顔肌質特徴を測定でき、かつハードウェアコスト及び体積を増加させずに、需要に応じて、より多くの肌質特徴を測定し、測定精度を向上させる。
【0053】
以下、上記各ステップについて詳細に説明する。
【0054】
ステップS10において、顔画像を取得する。
【0055】
好ましくは、本出願の一実施例では、画像収集モジュールによって顔画像を取得することができ、画像収集モジュールは、独立した撮像装置又は電子機器に集積された撮像装置など、例えば、独立したRGBカメラ、又は、車載電子機器(中央制御システムスクリーン、ナビゲータなどを含むがこれらに限られない)、携帯電話、タブレットPC、デスクトップパソコン、肌質測定装置などの電子機器のカメラであってもよい。
【0056】
ステップS12において、顔画像中の顔の肌色領域及び顔特徴点を取得する。
【0057】
好ましくは、本出願の一実施例では、肌色測定アルゴリズムによって顔画像中の顔の肌色領域を取得できる。例えば、肌色測定アルゴリズムによって顔画像をYCbCr色空間に変換し、次に各画素点のCrCb値を皮膚画素点に基づいて取得された楕円統計モデルに代入し、CrCb座標が楕円統計モデルにあると、肌色と判断し、それによって、顔の肌色領域を取得する。顔特徴点は、SDMアルゴリズムによって取得されることができる。
【0058】
好ましくは、本出願の一実施例では、より正確な顔の肌色領域を取得するために、顔特徴点に基づいて顔画像中の五官領域をカットアウトし、顔の肌色領域を取得してもよい。また、形態学的アルゴリズム(例えば、腐食膨張アルゴリズム)を用いて顔の肌色領域を処理してもよく、カットアウトされる五官領域を拡大し、それにより、画像のずれにより、五官領域を不完全にカットアウトしたため残存してしまう問題を回避する。
【0059】
ステップS14において、顔の肌色領域及び顔特徴点に基づいて顔画像の顔肌質特徴を取得する。
【0060】
好ましくは、本出願の一実施例では、顔肌質特徴は、肌色、斑点、毛穴、皺、隈、滑らかさのうちの少なくとも1つを含む。
【0061】
好ましくは、本出願の一実施例では、顔肌質特徴が斑点及び/又は毛穴を含む場合、顔の肌色領域及び顔特徴点に基づいて顔画像の顔肌質特徴を取得するステップは、ハイコントラストアルゴリズムを用いて顔の肌色領域の詳細図を取得するステップと、第1の所定アルゴリズム(例えば、局所適応閾値アルゴリズム)を用いて詳細図中の斑点及び/又は毛穴の測定結果を取得するステップであって、測定結果は、位置、数、面積のうちの少なくとも1つを含むステップと、形状特徴に基づいて斑点及び/又は毛穴を区別するステップであって、毛穴の形状特徴は、面積が一般的に小さく、かつ円形に類似するが、斑点の形状特徴は、面積が大きいステップと、を含む。
【0062】
好ましくは、局所適応閾値アルゴリズムを用いて詳細図中の斑点及び/又は毛穴の測定結果を取得した後、形態学的アルゴリズム(例えば、腐食膨張アルゴリズム)を用いて斑点及び/又は毛穴の孤立点を除去し、ノイズによる影響を排除し、コネクテッドドメインアルゴリズムを用いて初期測定結果中の形状が異常である又は面積が大きすぎる誤り点を排除する。
【0063】
好ましくは、上記ステップを五官領域がカットアウトされた顔の肌色領域において実現し、斑点及び/又は毛穴の誤測定率を減少する。
【0064】
好ましくは、本出願の一実施例では、斑点及び/又は毛穴の測定結果を取得した後、斑点及び/又は毛穴の測定結果に基づいて、グレーレベル同時生起行列アルゴリズムによって皮膚の滑らかさを取得することができる。例えば、グレーレベル同時生起行列アルゴリズムによって0度、45度、90度及び135度のエネルギー、エントロピー、コントラスト及び逆差分モーメントなどのパラメータを計算し、次にこれらの16個のパラメータによって皮膚の滑らかさ特徴を取得する。
【0065】
好ましくは、本出願の一実施例では、顔肌質特徴が皺を含む場合、顔の肌色領域及び顔特徴点に基づいて顔画像の顔肌質特徴を取得するステップは、ハイコントラストアルゴリズムを用いて顔の肌色領域の詳細図を取得するステップと、顔特徴点に基づいて顔方向情報を取得するステップと、第2の所定アルゴリズムを用いて詳細図中の皺の測定結果を取得するステップと、顔方向情報及び顔特徴点に基づいて皺の種類を決定するステップと、を含む。測定結果は、位置、数、面積のうちの少なくとも1つを含む。好ましくは、第2の所定アルゴリズムを用いて詳細図中の皺の測定結果を取得した後に、形態学的アルゴリズム及びコネクテッドドメインアルゴリズムを用いて、明らかに皺特徴に属しないいくつかのオブジェクトを除去する。
【0066】
好ましくは、本出願の一実施例では、第2の所定アルゴリズムを用いて皺詳細図中の皺の測定結果を取得し、顔方向情報及び顔特徴点に基づいて皺の種類を区別するステップは、局所適応閾値アルゴリズムを用いて皺位置を取得し、顔特徴点及び顔方向情報に基づいて水平方向に近い皺を目見皺と決定するステップと、Cannyエッジ抽出アルゴリズムを用いて皺位置を取得し、顔特徴点及び顔方向情報に基づいて水平方向に近い皺を見上皺、対角線方向に近い皺をほうれい線と決定するステップと、を含む。
【0067】
好ましくは、本出願の一実施例では、顔肌質特徴が隈を含む場合、顔の肌色領域及び前記顔特徴点に基づいて顔画像の顔肌質特徴を取得するステップは、顔特徴点のうちの眼部特徴点に基づいて、顔画像において上下2本のベジェ曲線を描き、隈測定領域を位置決めするステップと、隈測定領域の輝度平均値と周囲領域との差異を計算し、隈の深刻度を決定するステップと、を含む。
【0068】
好ましくは、本出願の一実施例では、ステップS10で顔画像を取得した後、顔画像に対して強調処理を行い、強調された顔画像を取得するステップS11を含むことができる。
【0069】
好ましくは、本出願の一実施例では、顔画像に対して強調処理を行い、顔画像を取得するステップは、第3の所定アルゴリズムによって顔画像の輝度情報を取得するステップと、顔画像中の低階調値領域のコントラストを強調し、強調された顔画像を取得するステップと、を含む。それによって、暗い光での顔画像の詳細を強調することができる。好ましくは、顔肌質特徴を強調された顔画像から取得することができ、より正確な測定結果を取得する。ここで、顔画像中の低階調値領域を拡張する方法は、対数変換、ヒストグラム均等化、インデックス変換などを含むがこれらに限られない。
【0070】
具体的には、第3の所定アルゴリズムによって顔画像の輝度情報を取得するステップは、色変換アルゴリズムによって顔画像をYUVフォーマット画像に変換し、YUVフォーマット画像中のYチャンネル画像を抽出して顔画像の輝度情報を取得するステップであってもよい。
【0071】
当然ながら、当業者であれば分かるように、顔画像に対して強調処理を行って顔画像を取得する前又は後に、顔フレームを測定し、測定された顔フレームの大きさに基づいて画像に対して拡大縮小を行い、大きさが要求を満たす顔画像を取得するステップ、を含んでもよい。
【0072】
上記ステップによって、顔肌質測定を実現でき、測定する肌質特徴は、斑点、毛穴、皮膚の滑らかさ、皺、隈などを含むことができ、ハードウェアコスト及び体積を増加させずに、測定精度を向上させることができる。
【0073】
好ましくは、本出願の一実施例では、様々な肌質特徴を測定した後に、顔の肌色領域を組み合わせて肌質を評価でき、例えば、斑点の場合、斑点の面積と顔の肌色領域の面積との比を指標として、斑点の深刻度を評価することができる。
【0074】
本出願の一実施例の一態様によれば、肌質等級分類方法がさらに提供される。図2は、本出願の一実施例による好ましい肌質等級分類方法のフローチャートである。図2に示すように、該方法は、S20及びS22を含む。
【0075】
S20において、上記肌質測定方法を用いて顔肌質特徴を取得する。
【0076】
S22において、顔肌質特徴に基づいて、機械学習方法を用いて顔肌質を異なる等級に分ける。
【0077】
好ましくは、本出願の一実施例では、機械学習方法は、サポートベクタマシン又はパーセプトロンであってもよい。具体的には、機械学習方法は、訓練サンプルによって、好適な分類関数を得ることができ、各サンプルの顔肌質特徴は、肌色、斑点、毛穴、皺、隈、滑らかさのうちの少なくとも1つを含む。
【0078】
本出願の一実施例では、上記ステップ、すなわち、上記肌質測定方法を用いて顔肌質特徴を取得するステップ、及び、顔肌質特徴に基づいて、機械学習方法を用いて顔肌質を異なる等級に分けるステップによって、顔肌質特徴を測定でき、また、顔肌質を異なる等級に分けることができ、異なるユーザーにケアプランを提供し、適合なスキンケア商品を推薦し又はスマート美顔を実現する。
【0079】
スマート美顔の態様では、本出願の一実施例の1つの適用シーンでは、顔肌質の異なる等級に応じて、対応する美顔パラメータを設定しスマート美顔を実現することができる。例えば、ある人の皮膚の毛穴、皺及び斑点が多く、皮膚が荒れると、該顔肌質の等級を悪に定義することに応じて、対応する美顔パラメータを設定し、例えば、美顔パラメータ中の肌質補正強度を高く設定することができる。
【0080】
一方、ある人の皮膚の毛穴、皺及び斑点が少なく、皮膚が滑らかであり、該顔肌質の等級を良に定義することに応じて、対応する美顔パラメータを設定し、例えば、美顔パラメータ中の肌質補正強度を低く設定することができ、それにより、人のそれぞれの美顔パラメータが好適であることを確保し、自然な美顔効果を実現し、スマート美顔を実現する。顔肌質の異なる等級に応じて、対応する美顔パラメータを設定することで実現されたスマート美顔技術は、ビデオ通話又は写真撮りなどの機能を有する電子機器、例えば、車載電子機器(中央制御システムスクリーン、ナビゲータなどを含むがこれらに限られない)、携帯電話、デジタルカメラ、タブレットPC、デスクトップパソコン、肌質測定装置などに搭載することができる。
【0081】
1つの適用環境、例えば、補助運転機能を有する自動車、特に自動運転機能を有する自動車では、人は、運転中にハンドル制御などの動作を行わないため、アイドル時にビデオチャット、ビデオ会議、写真撮りなどを行う可能性があり、上記ビデオ通話又は写真撮りなどの機能を有する車載電子機器にスマート美顔技術を搭載することによって、ユーザーの体験感を向上させることができる。
【0082】
本出願の一実施例の別の態様によれば、肌質測定装置がさらに提供される。図3は、本出願の一実施例による好ましい肌質測定装置の構造ブロック図である。図3に示すように、肌質測定装置3は、画像収集モジュール30、取得モジュール32、及び肌質測定モジュール34を含む。
【0083】
画像収集モジュール30は、顔画像を取得するように構成されている。
【0084】
好ましくは、本出願の一実施例では、画像収集モジュールは、独立した撮像装置又は電子機器に集積された撮像装置など、例えば、独立したRGBカメラ、又は、携帯電話、タブレットPC、デスクトップパソコン、肌質測定装置などの電子機器のカメラであってもよい。
【0085】
取得モジュール32は、顔画像中の顔の肌色領域及び顔特徴点を取得するように構成されている。
【0086】
好ましくは、本出願の一実施例では、取得モジュール34は、肌色取得モジュール及び特徴点取得モジュール、を含む。肌色取得モジュールは、肌色測定アルゴリズムによって顔画像中の顔の肌色領域を取得するように構成されている。例えば、肌色測定アルゴリズムによって顔画像をYCbCr色空間に変換し、次に各画素点のCrCb値を皮膚画素点に基づいて取得された楕円統計モデルに代入し、CrCb座標が楕円統計モデルにあると、肌色であることを判断し、それによって、顔の肌色領域を取得する。顔特徴点は、SDMアルゴリズムによって取得される。
【0087】
好ましくは、本出願の一実施例では、より正確な顔の肌色領域を取得するために、肌色取得モジュールは、顔特徴点に基づいて顔画像中の五官領域をカットアウトし、顔の肌色領域を取得するように構成されている。また、形態学的アルゴリズム(例えば、腐食膨張アルゴリズム)を用いて、顔の肌色領域を処理して、カットアウトされる五官領域を拡大するように構成されており、それにより、画像のずれにより、五官領域を不完全にカットアウトしたため残存してしまう問題を回避する。
【0088】
肌質測定モジュール34は、顔の肌色領域及び顔特徴点に基づいて顔画像の顔肌質特徴を測定するように構成されている。
【0089】
好ましくは、本出願の一実施例では、顔肌質特徴は、肌色、斑点、毛穴、皺、隈、滑らかさのうちの少なくとも1つを含む。
【0090】
好ましくは、本出願の一実施例では、肌質測定モジュール34は、斑点毛穴測定モジュール340を含み、前記斑点毛穴測定モジュール340は、ハイコントラストアルゴリズムを用いて、顔の肌色領域の詳細図を取得し、第1の所定アルゴリズム(例えば、局所適応閾値アルゴリズム)を用いて、詳細図中の斑点及び/又は毛穴の測定結果を取得するように構成されており、測定結果は、位置、数、面積のうちの少なくとも1つを含み、形状特徴に基づいて斑点及び/又は毛穴を区別し、毛穴の形状特徴は、面積が一般的に小さく、かつ円形に類似するが、斑点の形状特徴は、面積が大きい。
【0091】
好ましくは、局所適応閾値アルゴリズムを用いて詳細図中の斑点及び/又は毛穴の測定結果を取得した後、形態学的アルゴリズム(例えば、腐食膨張アルゴリズム)を用いて斑点及び/又は毛穴の孤立点を除去し、ノイズによる影響を排除し、コネクテッドドメインアルゴリズムを用いて、初期測定結果中の形状が異常である又は面積が大きすぎる誤り点を排除する。
【0092】
好ましくは、上記ステップを五官領域がカットアウトされた顔の肌色領域において実現し、斑点及び/又は毛穴の誤測定率を減少する。
【0093】
好ましくは、本出願の一実施例では、肌質測定モジュール34は、斑点及び/又は毛穴の測定結果を取得した後、斑点及び/又は毛穴の測定結果に基づいて、グレーレベル同時生起行列アルゴリズムによって皮膚の滑らかさを取得するように構成されている皮膚滑らかさ測定モジュール342を含む。例えば、グレーレベル同時生起行列アルゴリズムによって0度、45度、90度及び135度のエネルギー、エントロピー、コントラスト及び逆差分モーメントなどのパラメータを計算し、次にこれらの16個のパラメータによって皮膚の滑らかさ特徴を取得する。
【0094】
好ましくは、本出願の一実施例では、肌質測定モジュール34は、皺測定モジュール344を含む。皺測定モジュール344は、ハイコントラストアルゴリズムを用いて、顔画像の詳細図を取得し、顔特徴点に基づいて顔方向情報を取得し、第2の所定アルゴリズムを用いて詳細図中の皺の測定結果を取得するように構成されており、測定結果は、位置、数、面積のうちの少なくとも1つを含み、顔方向情報及び顔特徴点に基づいて皺の種類を区別する。
【0095】
好ましくは、第2の所定アルゴリズムを用いて詳細図中の皺の測定結果を取得した後、形態学的アルゴリズム及びコネクテッドドメインアルゴリズムを用いて、明らかに皺特徴に属しないいくつかのオブジェクトを除去する。
【0096】
好ましくは、本出願の一実施例では、第2の所定アルゴリズムを用いて皺の詳細図中の皺の測定結果を取得し、顔方向情報及び顔特徴点に基づいて皺の種類を区別するステップは、局所適応閾値アルゴリズムを用いて皺位置を取得し、顔方向情報及び顔特徴点に基づいて水平方向に近い皺を目見皺とマーキングするステップと、Cannyエッジ抽出アルゴリズムを用いて皺位置を取得し、顔方向情報及び顔特徴点に基づいて水平方向に近い皺を見上皺とマーキングし、対角線方向に近い皺をほうれい線とマーキングするステップと、を含む。
【0097】
好ましくは、本出願の一実施例では、肌質測定モジュール34は、隈測定モジュール346を含む。隈測定モジュール346は、顔特徴点のうちの眼部特徴点に基づいて、顔画像において上下2本のベジェ曲線を描き、隈測定領域を位置決めし、隈測定領域の輝度平均値と周囲領域との差異を計算し、隈の深刻度を決定するように構成されている。
【0098】
好ましくは、本出願の一実施例では、肌質測定装置3は、顔画像を処理し、顔画像を取得するように構成されている画像強調モジュール31をさらに含む。
【0099】
好ましくは、本出願の一実施例では、画像強調モジュール31は、輝度情報取得ユニット310及びコントラスト強調ユニット312を含む。輝度情報取得ユニット310は、第3の所定アルゴリズムによって顔画像の輝度情報を取得するように構成されており、コントラスト強調ユニット312は、強調された顔画像中の低階調値領域のコントラストを強調し、強調された顔画像を取得するように構成されている。それによって、暗い光での顔画像の詳細を強調することができる。好ましくは、顔肌質特徴を強調された顔画像から取得することができ、より正確な測定結果を取得する。顔画像中の低階調値領域を拡張する方法は、対数変換、ヒストグラム均等化、インデックス変換などを含むがこれらに限られない。
【0100】
具体的には、第3の所定アルゴリズムによって顔画像の輝度情報を取得することは、色変換アルゴリズムによって顔画像をYUVフォーマット画像に変換し、YUVフォーマット画像中のYチャンネル画像を抽出して顔画像の輝度情報を取得することであってもよい。
【0101】
当然ながら、当業者であれば分かるように、顔画像に対して強調処理を行い、顔画像を取得する前又は後に、画像に対して拡大縮小を行い、大きさが要求を満たす顔画像を取得するステップ、を含んでもよい。
【0102】
本出願の一実施例では、上記モジュール、すなわち、顔画像を取得するように構成されている画像収集モジュール30、顔画像中の顔の肌色領域及び顔特徴点を取得するように構成されている取得モジュール34、顔の肌色領域及び顔特徴点に基づいて顔画像の顔肌質特徴を測定するように構成されている肌質測定モジュール36によって、顔画像に基づいて複数種の顔肌質特徴を測定でき、かつハードウェアコスト及び体積を増加させずに、需要に応じて、より多くの肌質特徴を測定し、測定精度を向上させる。
【0103】
本出願の一実施例の別の態様によれば、電子機器がさらに提供され、電子機器40は、プロセッサ400、及び前記プロセッサ400の実行可能な命令を記憶するように構成されているメモリ402を含み、前記プロセッサ400は、前記実行可能な命令を実行することによって、上記のいずれかに記載の肌質測定方法を実行するように構成されている。
【0104】
本出願の一実施例の別の態様によれば、記憶媒体がさらに提供され、前記記憶媒体は、記憶されるプログラムを含み、前記プログラムは、実行されると、前記記憶媒体が属する機器を制御し、上記いずれかに記載の肌質測定方法を実行させる。
【0105】
本出願の上記実施例では、それぞれの実施例の説明に重点がそれぞれ異なって、ある実施例に詳細に記載されていない部分は、他の実施例の関連する説明を参照することができる。
【0106】
本出願に係る一部の実施例では、開示される技術内容が他の形態で実現されてもよいことを理解されたい。以上に説明された装置の実施形態は、例に過ぎない。例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際の実現においては他の分割であってもよい。例えば、複数のユニット又はコンポーネントを別のシステムに組み合わせて又は統合してもよく、あるいはいくつかの特徴を無視してもよいし、又は、実行しなくてもよい。加えて、提示又は議論されている相互結合又は直接的結合又は通信接続は、いくつかのインタフェース、ユニット又はモジュール間の間接的結合又は通信接続であってもよいし、電気的又は他の形態であってもよい。
【0107】
分離部材として説明された前記ユニットは物理的に分離するものであってもよく又は物理的に分離するものでなくてもよく、ユニットとして表示された部材は物理的ユニットであってもよく又は物理的ユニットでなくてもよく、すなわち1つの箇所に位置してもよく、又は複数のユニットに分布してもよい。実際のニーズに応じてここでの一部又は全てのユニットを選択して本実施例の解決策の目的を達成することができる。
【0108】
また、本出願の各実施例における各機能ユニットは1つの処理ユニットに統合されてもよく、個々のユニットは単独で物理的に存在してもよく、二つ又は二つ以上のユニットは1つのユニットに統合されてもよい。上記統合されるユニットは、ハードウェアの形態で実現されてもよいし、ソフトウェア機能ユニットの形態で実現されてもよい。
【0109】
前記統合されたユニットは、ソフトウェア機能ユニットの形態で実現され、独立した製品として販売され又は用いられるとき、コンピュータ可読記憶媒体に記憶され得る。そのような理解に基づいて、本質的に本出願の技術的解決手段、又は従来技術に寄与する部分、又は技術的解決手段の全部もしくは一部が、ソフトウェア製品の形態で実現されてよい。ソフトウェア製品は、記憶媒体に記憶され、(パーソナルコンピュータ、サーバ、ネットワークデバイスなどであり得る)コンピュータデバイスに命令するためのいくつかの命令を含み、本出願の各実施例の前記方法のステップの全て又は一部を実行する。
【0110】
前述した記憶媒体は、USBフラッシュドライブ、リムーバブルハードディスク(ROM、Read-only Memory)、ランダムアクセスメモリ(Random Access Memory、RAM)、モバイルディスク、磁気ディスク、又は光ディスクなどの、プログラム符号を記憶できる任意の媒体を含む。
【0111】
前述した説明は、本出願の好適な実施の形態に過ぎず、当業者にとって、本出願の原理を逸脱せずに様々な改良や修飾をすることもできる。これらの改良や修飾も、本出願の保護範囲として見なされるべきである
【産業上の利用可能性】
【0112】
顔画像を取得し、顔画像中の顔の肌色領域及び顔特徴点を取得し、顔の肌色領域及び顔特徴点に基づいて顔画像の顔肌質特徴を取得し、顔画像に基づいて顔肌質特徴を測定でき、かつハードウェアコスト及び体積を増加させずに、需要に応じて、より多くの肌質特徴を測定し、測定精度を向上させる。従来技術で測定された肌質特徴が少なく、測定精度が低く、かつハードウェアコストが高く、体積が大きいという問題をさらに解決する。
図1
図2
図3
図4
【国際調査報告】