ホーム > 特許ランキング > 深▲せん▼市宗匠科技有限公司
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024166053
(43)【公開日】2024-11-28
(54)【発明の名称】電子機器、その肌質分析方法及び装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20241121BHJP
A61B 5/00 20060101ALI20241121BHJP
【ＦＩ】
G06T7/00 660Z
G06T7/00 Q
G06T7/00 350B
A61B5/00 M
【審査請求】有
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2023219108
(22)【出願日】2023-12-26
(11)【特許番号】
(45)【特許公報発行日】2024-05-30
(31)【優先権主張番号】202310566310.9
(32)【優先日】2023-05-18
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】517384589
【氏名又は名称】深▲せん▼市宗匠科技有限公司
【住所又は居所原語表記】２６ｔｈ Ｆｌｏｏｒ， Ｇａｏｘｉｎ Ｃｏｍｍｕｎｉｔｙ Ｕｎｉｔｅｄ Ｈｅａｄｑｕａｒｔｅｒｓ Ｂｕｉｌｄｉｎｇ， Ｎｏ．６３， Ｇａｏｘｉｎ Ｓｏｕｔｈ１０ｔｈ Ｒｏａｄ， Ｂｉｎｈａｉ Ｃｏｍｍｕｎｉｔｙ， Ｙｕｅｈａｉ Ｓｔｒｅｅｔ， Ｎａｎｓｈａｎ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ， Ｃｈｉｎａ
(74)【代理人】
【識別番号】110000291
【氏名又は名称】弁理士法人コスモス国際特許商標事務所
(72)【発明者】
【氏名】▲リ▼ ▲ケ▼
(72)【発明者】
【氏名】王 念欧
(72)【発明者】
【氏名】万 進
(72)【発明者】
【氏名】董 明志
(72)【発明者】
【氏名】安 云霖
【テーマコード（参考）】
4C117
5L096
【Ｆターム（参考）】
4C117XA02
4C117XB13
4C117XD05
4C117XE03
4C117XE43
4C117XJ01
4C117XJ13
4C117XK05
4C117XK09
5L096AA06
5L096BA03
5L096CA04
5L096EA39
5L096GA30
5L096GA34
5L096GA51
5L096HA11
5L096KA04
5L096MA01
(57)【要約】
【課題】本願は、電子機器、その肌質分析方法及び装置を提供する。
【解決手段】肌質分析方法は、予め設定された時間帯内の若干フレームの画像を含む、目標肌箇所のビデオストリームを取得するように撮像装置を制御するステップと、ビデオストリームの若干フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とするステップと、少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得るステップと、肌質分析結果を出力するステップとを含む。これにより、開放環境で、静的に画像を取得することではなく、ビデオストリームをリアルタイムで取得し、効率的で、無感覚の取得を実現し、ユーザ体験を向上させる。また、肌質分析のための全ての画像を同一品質レベル以上に制御することができ、肌質分析結果の安定性及び比較可能性を向上させ、画像自体の品質問題によるノイズ問題を解消し、肌質分析の正確度を向上させる。
【選択図】図２
【解決手段】肌質分析方法は、予め設定された時間帯内の若干フレームの画像を含む、目標肌箇所のビデオストリームを取得するように撮像装置を制御するステップと、ビデオストリームの若干フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とするステップと、少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得るステップと、肌質分析結果を出力するステップとを含む。これにより、開放環境で、静的に画像を取得することではなく、ビデオストリームをリアルタイムで取得し、効率的で、無感覚の取得を実現し、ユーザ体験を向上させる。また、肌質分析のための全ての画像を同一品質レベル以上に制御することができ、肌質分析結果の安定性及び比較可能性を向上させ、画像自体の品質問題によるノイズ問題を解消し、肌質分析の正確度を向上させる。
【選択図】図２
【特許請求の範囲】
【請求項1】
電子機器に用いられる肌質分析方法において、
予め設定された時間帯内の若干フレームの画像を含む、目標肌箇所のビデオストリームを取得するように撮像装置を制御するステップと、
前記ビデオストリームの若干フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とするステップと、
前記少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得るステップと、
前記肌質分析結果を出力するステップとを含むことを特徴とする、肌質分析方法。
予め設定された時間帯内の若干フレームの画像を含む、目標肌箇所のビデオストリームを取得するように撮像装置を制御するステップと、
前記ビデオストリームの若干フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とするステップと、
前記少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得るステップと、
前記肌質分析結果を出力するステップとを含むことを特徴とする、肌質分析方法。
【請求項2】
前記ビデオストリームの若干フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とする前記ステップは、
前記ビデオストリームから複数フレームの画像を抽出するステップと、
前記複数フレームの画像をそれぞれスコアリングして、各フレームの画像の画像品質スコアを得るステップと、
各フレームの画像の画像品質スコアにより前記複数フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して前記少なくとも１フレームの目標画像とするステップとを含むことを特徴とする、請求項１に記載の肌質分析方法。
前記ビデオストリームから複数フレームの画像を抽出するステップと、
前記複数フレームの画像をそれぞれスコアリングして、各フレームの画像の画像品質スコアを得るステップと、
各フレームの画像の画像品質スコアにより前記複数フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して前記少なくとも１フレームの目標画像とするステップとを含むことを特徴とする、請求項１に記載の肌質分析方法。
【請求項3】
各フレームの画像の画像品質スコアにより前記複数フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して前記少なくとも１フレームの目標画像とする前記ステップは、
各フレームの画像の画像品質スコアにより前記複数フレームの画像から画像品質スコアが最も高い１フレーム又は画像品質スコアが相対的に最も高い少なくとも２フレームの画像を選び出して前記少なくとも１フレームの目標画像とするステップ、又は、
各フレームの画像の画像品質スコアにより前記複数フレームの画像から画像品質要求に合致する少なくとも１フレームの画像をランダムに選び出して前記少なくとも１フレームの目標画像とするステップを含むことを特徴とする、請求項２に記載の肌質分析方法。
各フレームの画像の画像品質スコアにより前記複数フレームの画像から画像品質スコアが最も高い１フレーム又は画像品質スコアが相対的に最も高い少なくとも２フレームの画像を選び出して前記少なくとも１フレームの目標画像とするステップ、又は、
各フレームの画像の画像品質スコアにより前記複数フレームの画像から画像品質要求に合致する少なくとも１フレームの画像をランダムに選び出して前記少なくとも１フレームの目標画像とするステップを含むことを特徴とする、請求項２に記載の肌質分析方法。
【請求項4】
前記ビデオストリームの若干フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とする前記ステップは、
前記ビデオストリームから複数フレームの画像を抽出するステップと、
前記複数フレームの画像を１フレーム目の画像から順にスコアリングし、各フレームの画像をスコアリングして画像品質スコアを得た後、このフレームの画像の画像品質スコアが画像品質要求を満たすか否かを判断し、このフレームの画像の画像品質スコアが画像品質要求を満たすと、このフレームの画像を目標画像とすると決定するステップと、
このフレームの画像の画像品質スコアが画像品質要求を満たさないと、画像品質スコアが画像品質要求を満たす目標画像が決定されるまで、前記複数フレームの画像のうちの次のフレームの画像をスコアリングするステップとを含むことを特徴とする、請求項１に記載の肌質分析方法。
前記ビデオストリームから複数フレームの画像を抽出するステップと、
前記複数フレームの画像を１フレーム目の画像から順にスコアリングし、各フレームの画像をスコアリングして画像品質スコアを得た後、このフレームの画像の画像品質スコアが画像品質要求を満たすか否かを判断し、このフレームの画像の画像品質スコアが画像品質要求を満たすと、このフレームの画像を目標画像とすると決定するステップと、
このフレームの画像の画像品質スコアが画像品質要求を満たさないと、画像品質スコアが画像品質要求を満たす目標画像が決定されるまで、前記複数フレームの画像のうちの次のフレームの画像をスコアリングするステップとを含むことを特徴とする、請求項１に記載の肌質分析方法。
【請求項5】
当該複数フレームの画像から画像品質要求を満たす目標画像が見つからなかった時に、前記ビデオストリームから当該複数フレームの画像と異なる次のグループの複数フレームの画像を再度抽出し、そして画像品質要求を満たす目標画像が選び出されるまで、当該次のグループの複数フレームの画像の画像品質スコアリングを再度行うステップを更に含むことを特徴とする、請求項２～４のいずれか一項に記載の肌質分析方法。
【請求項6】
前記少なくとも一つの目標画像の画像品質スコアを出力するステップを更に含むことを特徴とする、請求項２～４のいずれか一項に記載の肌質分析方法。
【請求項7】
前記目標画像により肌質分析を行って肌質分析結果を得る前記ステップは、
前記目標画像が１フレームの目標画像である時に、当該目標画像に対して肌質分析を行って前記肌質分析結果を得るステップ、又は、
前記目標画像が複数フレームの目標画像である時に、前記複数フレームの目標画像に対してそれぞれ肌質分析を行って複数の分析結果を得、前記複数の分析結果により総合的に分析してから前記肌質分析結果を得るステップを含むことを特徴とする、請求項１に記載の肌質分析方法。
前記目標画像が１フレームの目標画像である時に、当該目標画像に対して肌質分析を行って前記肌質分析結果を得るステップ、又は、
前記目標画像が複数フレームの目標画像である時に、前記複数フレームの目標画像に対してそれぞれ肌質分析を行って複数の分析結果を得、前記複数の分析結果により総合的に分析してから前記肌質分析結果を得るステップを含むことを特徴とする、請求項１に記載の肌質分析方法。
【請求項8】
各フレームの画像に対して画像品質スコアリングを行うステップは、
各フレームの画像に対して、鮮明度、光照射度及び正面度のうちの少なくとも一種を含む少なくとも一つの次元から品質ラベリングを行って少なくとも一つのラベリング結果を得るステップと、
各フレームの画像のラベリング結果により各フレームの画像の画像品質スコアを得るステップとを含むことを特徴とする、請求項２～４、７のいずれか一項に記載の肌質分析方法。
各フレームの画像に対して、鮮明度、光照射度及び正面度のうちの少なくとも一種を含む少なくとも一つの次元から品質ラベリングを行って少なくとも一つのラベリング結果を得るステップと、
各フレームの画像のラベリング結果により各フレームの画像の画像品質スコアを得るステップとを含むことを特徴とする、請求項２～４、７のいずれか一項に記載の肌質分析方法。
【請求項9】
各フレームの画像に対して少なくとも一つの次元から品質ラベリングを行って少なくとも一つのラベリング結果を得る前記ステップの前に、
前記少なくとも一つの次元の異なる場合を包括している若干のトレーニング画像を入力するステップと、
前記若干のトレーニング画像によりインテリジェントスコアリングモデルのトレーニングを行うステップと、
前記インテリジェントスコアリングモデルのトレーニングが完了した後、各フレームの画像に対する画像品質スコアリングが各フレームの画像を前記インテリジェントスコアリングモデルに入力して画像品質スコアリングを行うことになるステップとを更に含むことを特徴とする、請求項８に記載の肌質分析方法。
前記少なくとも一つの次元の異なる場合を包括している若干のトレーニング画像を入力するステップと、
前記若干のトレーニング画像によりインテリジェントスコアリングモデルのトレーニングを行うステップと、
前記インテリジェントスコアリングモデルのトレーニングが完了した後、各フレームの画像に対する画像品質スコアリングが各フレームの画像を前記インテリジェントスコアリングモデルに入力して画像品質スコアリングを行うことになるステップとを更に含むことを特徴とする、請求項８に記載の肌質分析方法。
【請求項10】
前記少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得る前記ステップは、
ほうれい線、目の下のくま、毛穴、シワ、黒ニキビ、そばかすのうちの少なくとも一種を含む、各フレームの目標画像内のキーポイント情報を抽出するステップと、
前記少なくとも１フレームの目標画像内のキーポイント情報により肌質の良否を評価して前記肌質分析結果を得るステップとを含むことを特徴とする、請求項１に記載の肌質分析方法。
ほうれい線、目の下のくま、毛穴、シワ、黒ニキビ、そばかすのうちの少なくとも一種を含む、各フレームの目標画像内のキーポイント情報を抽出するステップと、
前記少なくとも１フレームの目標画像内のキーポイント情報により肌質の良否を評価して前記肌質分析結果を得るステップとを含むことを特徴とする、請求項１に記載の肌質分析方法。
【請求項11】
プロセッサ、メモリ及び撮像装置を備え、前記撮像装置と前記メモリがそれぞれ前記プロセッサに電気的に接続され、前記メモリにコンピュータプログラムが記憶されており、前記プロセッサが前記コンピュータプログラムを実行して、請求項１～４、７、１０のいずれか一項に記載の肌質分析方法のステップを実行することを特徴とする、電子機器。
【請求項12】
一つのプロセッサによって実行されて、請求項１～４、７、１０のいずれか一項に記載の肌質分析方法のステップを実行することができるコンピュータプログラムを記憶していることを特徴とする、コンピュータ可読記憶媒体。
【請求項13】
予め設定された時間帯内の若干フレームの画像を含む、目標肌箇所のビデオストリームを取得するように撮像装置を制御するために用いられる取得制御モジュールと、
前記ビデオストリームの若干フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とするために用いられる画像選択モジュールと、
前記少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得るために用いられる肌質分析モジュールと、
前記肌質分析結果を出力するために用いられる出力制御モジュールとを備える、肌質分析装置。
前記ビデオストリームの若干フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とするために用いられる画像選択モジュールと、
前記少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得るために用いられる肌質分析モジュールと、
前記肌質分析結果を出力するために用いられる出力制御モジュールとを備える、肌質分析装置。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、美容の分野に関し、特に、電子機器、その肌質分析方法及び装置に関する。
【背景技術】
【0002】
従来の肌分析方法においては、一般にＡＩアルゴリズムによって、入力された顔画像を直接処理し分析して、肌質の各項のパラメータ（粗さ、斑点、毛穴、シワ、ニキビ等）を得る。当該方法の作用過程において、画像品質が分析結果を非常に大きく左右し、同一人物が同一時間帯に測定分析を行う場合であっても、画像品質、例えば鮮明度、カメラまでの距離の遠近、傾き角度、光照射等の要因の影響によって、その分析結果間に大きな差異がある。このような画像品質のばらつきによる変動性により、肌質分析の有効性、異なる人物の測定結果及び同一人物の異なる回の測定結果の間の比較可能性が強くなくなる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本願は、少なくとも従来技術に存在する技術問題の一つを解決することを目的とする。
【課題を解決するための手段】
【0004】
上記技術問題を解決するために、本願の技術的解決手段は以下の通りである。
【0005】
第１態様において、本願は、電子機器に用いられる肌質分析方法において、
予め設定された時間帯内の若干フレームの画像を含む、目標肌箇所のビデオストリームを取得するように撮像装置を制御するステップと、
前記ビデオストリームの若干フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とするステップと、
前記少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得るステップと、
前記肌質分析結果を出力するステップとを含む肌質分析方法を提供する。
予め設定された時間帯内の若干フレームの画像を含む、目標肌箇所のビデオストリームを取得するように撮像装置を制御するステップと、
前記ビデオストリームの若干フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とするステップと、
前記少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得るステップと、
前記肌質分析結果を出力するステップとを含む肌質分析方法を提供する。
【0006】
第２態様において、本願は、プロセッサ、メモリ及び撮像装置を備え、前記撮像装置と前記メモリがそれぞれ前記プロセッサに電気的に接続され、前記メモリにコンピュータプログラムが記憶されており、前記プロセッサが前記コンピュータプログラムを実行して、肌質分析方法のステップ、即ち、
予め設定された時間帯内の若干フレームの画像を含む、目標肌箇所のビデオストリームを取得するように撮像装置を制御するステップと、
前記ビデオストリームの若干フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とするステップと、
前記少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得るステップと、
前記肌質分析結果を出力するステップとを実行する電子機器を提供する。
予め設定された時間帯内の若干フレームの画像を含む、目標肌箇所のビデオストリームを取得するように撮像装置を制御するステップと、
前記ビデオストリームの若干フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とするステップと、
前記少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得るステップと、
前記肌質分析結果を出力するステップとを実行する電子機器を提供する。
【0007】
第３態様において、本願は、一つのプロセッサによって実行されて、肌質分析方法のステップ、即ち、
予め設定された時間帯内の若干フレームの画像を含む、目標肌箇所のビデオストリームを取得するように撮像装置を制御するステップと、
前記ビデオストリームの若干フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とするステップと、
前記少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得るステップと、
前記肌質分析結果を出力するステップとを実行することができるコンピュータプログラムを記憶しているコンピュータ可読記憶媒体を更に提供する。
予め設定された時間帯内の若干フレームの画像を含む、目標肌箇所のビデオストリームを取得するように撮像装置を制御するステップと、
前記ビデオストリームの若干フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とするステップと、
前記少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得るステップと、
前記肌質分析結果を出力するステップとを実行することができるコンピュータプログラムを記憶しているコンピュータ可読記憶媒体を更に提供する。
【0008】
第４態様において、本願は、
予め設定された時間帯内の若干フレームの画像を含む、目標肌箇所のビデオストリームを取得するように撮像装置を制御するために用いられる取得制御モジュールと、
前記ビデオストリームの若干フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とするために用いられる画像選択モジュールと、
前記少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得るために用いられる肌質分析モジュールと、
前記肌質分析結果を出力するために用いられる出力制御モジュールとを備える肌質測定装置を更に提供する。
予め設定された時間帯内の若干フレームの画像を含む、目標肌箇所のビデオストリームを取得するように撮像装置を制御するために用いられる取得制御モジュールと、
前記ビデオストリームの若干フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とするために用いられる画像選択モジュールと、
前記少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得るために用いられる肌質分析モジュールと、
前記肌質分析結果を出力するために用いられる出力制御モジュールとを備える肌質測定装置を更に提供する。
【発明の効果】
【0009】
従来技術に比べると、本願の有用な効果は以下の通りである。
これにより、開放環境で、静的に画像を取得することではなく、ビデオストリームをリアルタイムで取得し、効率的で、無感覚の取得を実現し、ユーザ体験を向上させる。また、肌質分析のための全ての画像を同一品質レベル以上に制御することができ、肌質分析結果の安定性及び比較可能性を向上させ、画像自体の品質問題によるノイズ問題を解消し、肌質分析の正確度を向上させる。
これにより、開放環境で、静的に画像を取得することではなく、ビデオストリームをリアルタイムで取得し、効率的で、無感覚の取得を実現し、ユーザ体験を向上させる。また、肌質分析のための全ての画像を同一品質レベル以上に制御することができ、肌質分析結果の安定性及び比較可能性を向上させ、画像自体の品質問題によるノイズ問題を解消し、肌質分析の正確度を向上させる。
【図面の簡単な説明】
【0010】
【図1】本願の一実施例における電子機器のモジュール模式図である。
【図2】本願の一実施例における肌質分析方法の模式的なフローチャートである。
【図3】本願の一実施例でフレーム画像をラベリングする各種の場合の統計例である。
【図4】本願の別の実施例における肌質分析方法の模式的なフローチャートである。
【図5】本願の一実施例で提供される肌質分析装置のモジュール模式図である。
【発明を実施するための形態】
【0011】
以下において、本願の実施例を詳細に記述し、前記実施例の例は図面に示されており、ここで、同じ又は類似的な符号は始めから終わりまで同じ又は類似的な素子或いは同じ又は類似的な機能を有する素子を表す。以下において図面を参照して記述する実施例は例示的なものであり、本願を解釈することを目的とし、本願を限定するものと理解してはならない。
【0012】
また、「第１」、「第２」といった用語は説明するためのものに過ぎず、相対的重要性を指示又は暗示したり、指示される技術特徴の数を暗黙的に示したりするものと理解してはならない。従って、「第１」、「第２」と限定される特徴は１つの当該特徴又はより多い当該特徴を含むことを明示又は暗示することができる。本願の説明では、明確に且つ具体的に限定しない限り、「複数」は２つ又は２つ以上を意味する。
【0013】
本願では、別に明確に規定、限定しない限り、「連結」、「接続」、「固定」等の用語は広義的に理解すべきであり、例えば、固定的に接続してもよく、取り外し可能に接続してもよく、又は一体化してもよい。機械的に接続してもよく、電気的に接続してもよい。直接連結してもよく、更に中間媒介を介して間接的に連結してもよく、２つの素子の内部を連通させてもよく、又は、２つの素子の相互作用関係であってもよい。当業者であれば、具体的な状況に応じて本願での上記用語の具体的な意味を理解してもよい。
【0014】
本願の一実施例における電子機器１のモジュール模式図である図１を参照されたい。前記電子機器１は肌質分析を実行するために用いられる。前記電子機器１は、肌分析装置、肌検出機能を有する美容器又はスマート端末、或いは映像取得機能を有する撮像装置とデータ分析機能を有する肌分析装置とで構成される肌分析システム、或いは映像取得とデータ分析機能を実現できる他の機器であってもよいが、これらに限定されなく、ここで限定されるものではない。具体的には、前記電子機器１は、メモリ１１とプロセッサ１２とを備える。前記メモリ１１が前記プロセッサ１２に電気的に接続される。前記メモリ１１にコンピュータプログラムが記憶されている。前記プロセッサ１２は前記コンピュータプログラムを実行して、肌質分析方法のステップを実行する。前記電子機器１は撮像装置１３を更に備える。前記撮像装置１３が前記プロセッサ１２に電気的に接続される。前記撮像装置１３は一つのカメラ又は複数のカメラで構成されるカメラシステムを備えてもよく、肌質測定の時にユーザの肌に向かって、画像データをタイムリに正確に取得できるものであればよく、ここで限定されることがない。本実施例では、前記電子機器１が映像取得機能とデータ分析機能を統合した機器である時に、前記撮像装置１３はフロントカメラを備える。理解されるように、他の実施例では、前記撮像装置１３はフロントカメラを含むだけでなく、バックカメラを備えてもよく、また、場合によっては、目標肌箇所のビデオストリームを取得するためのカメラはフロントカメラとバックカメラとの間で切り替えることができる。
【0015】
本願の一実施例における肌質分析方法の模式的なフローチャートである図２を参照されたい。前記肌質分析方法は上記電子機器１に用いて肌質分析を実現することができる。理解されるように、前記肌質分析方法の一部のステップは追加・削除又は順序交換が可能であり、ここで限定されることがない。具体的には、前記肌質分析方法は、下記のステップＳ２１０、ステップＳ２２０、ステップＳ２３０及びステップＳ２４０を含む。
ステップＳ２１０：予め設定された時間帯内の若干フレームの画像を含む、目標肌箇所のビデオストリームを取得するように撮像装置１３を制御する。
ステップＳ２２０：前記ビデオストリームの若干フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とする。
ステップＳ２３０：前記少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得る。
ステップＳ２４０：前記肌質分析結果を出力する。
ステップＳ２１０：予め設定された時間帯内の若干フレームの画像を含む、目標肌箇所のビデオストリームを取得するように撮像装置１３を制御する。
ステップＳ２２０：前記ビデオストリームの若干フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とする。
ステップＳ２３０：前記少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得る。
ステップＳ２４０：前記肌質分析結果を出力する。
【0016】
本願では、肌質分析方法のステップは以下の通りである。まず、目標肌箇所のビデオストリームを取得するように撮像装置１３を制御し、次に、取得したビデオストリームサンプル情報から複数フレームの画像を抽出し、次に、前記複数フレームの画像から画像品質要求に合致するフレーム画像を選び出して肌質分析を行う。これにより、開放環境で、静的に画像を取得することではなく、ビデオストリームをリアルタイムで取得し、効率的で、無感覚の取得を実現し、ユーザ体験を向上させる。また、肌質分析のための全ての画像を同一品質レベル以上に制御することができ、肌質分析結果の安定性及び比較可能性を向上させ、画像自体の品質問題によるノイズ問題を解消し、肌質分析の正確度を向上させる。
【0017】
ここで、前記プロセッサ１２は目標肌箇所の所定時間帯内のビデオストリームを取得するように前記撮像装置１３を制御し、前記の所定時間帯の時間長は実際の需要に応じて設定でき、例えば、５秒間、１０秒間又は１５秒間等に設定でき、ここで限定されることがない。理解されるように、ビデオストリームの時間長が長いほど、ビデオストリームに含まれるフレーム画像が多くなるので、高品質画像を選び出す確率が大きくなる。ただし、演算データ量の増大を伴うことはいうまでもない。従って、実際の応用で、高品質画像と演算データ量との間で一定の取捨を決める必要がある。
【0018】
前記ビデオストリームの若干フレームの画像のそれぞれの生成時間が異なり、異なる時間の撮像パラメータが微細に変化し得るので、異なる撮像パラメータで撮像した異なるフレーム画像のそれぞれの画像品質が全部同じであるわけではなく、一部のフレーム画像の画像品質が相対的に良く、一部のフレーム画像の画像品質が相対的に悪い。従って、前記ビデオストリームの若干フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出し、各フレームの画像を１フレームの目標画像とすることで、品質要求に合致しないフレーム画像により肌質分析に発生するノイズを除去することができ、肌質分析の正確性を更に向上させることができる。
【0019】
いくつかの実施例では、前記ビデオストリームの若干フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出す方式は多種あってもよく、ここで限定されることがない。
【0020】
以下、その中の二種の選択方式を詳細に紹介する。
【0021】
第１種の方式は以下の通りである。
【0022】
前記ビデオストリームの若干フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とする前記ステップは、
前記ビデオストリームから複数フレームの画像を抽出するステップと、
前記複数フレームの画像をそれぞれスコアリングして、各フレームの画像の画像品質スコアを得るステップと、
各フレームの画像の画像品質スコアにより前記複数フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して前記少なくとも１フレームの目標画像とするステップとを含む。
前記ビデオストリームから複数フレームの画像を抽出するステップと、
前記複数フレームの画像をそれぞれスコアリングして、各フレームの画像の画像品質スコアを得るステップと、
各フレームの画像の画像品質スコアにより前記複数フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して前記少なくとも１フレームの目標画像とするステップとを含む。
【0023】
これにより、第１種の方式においては、まず、抽出された前記複数フレームの画像のうちの各フレームの画像に対して画像品質スコアリングを行う必要があり、抽出された前記複数フレームの画像のうちの各フレームの画像の画像品質スコアを得た後、良い順に少なくとも１フレームの画像を選び出して前記少なくとも１フレームの目標画像とすることができる。
【0024】
いくつかの実施例では、各フレームの画像の画像品質スコアにより前記複数フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して前記少なくとも１フレームの目標画像とする前記ステップは、
各フレームの画像の画像品質スコアにより前記複数フレームの画像から画像品質スコアが最も高い１フレーム又は画像品質スコアが相対的に最も高い少なくとも２フレームの画像を選び出して前記少なくとも１フレームの目標画像とするステップ、又は、
各フレームの画像の画像品質スコアにより前記複数フレームの画像から画像品質要求に合致する少なくとも１フレームの画像をランダムに選び出して前記少なくとも１フレームの目標画像とするステップを含む。
各フレームの画像の画像品質スコアにより前記複数フレームの画像から画像品質スコアが最も高い１フレーム又は画像品質スコアが相対的に最も高い少なくとも２フレームの画像を選び出して前記少なくとも１フレームの目標画像とするステップ、又は、
各フレームの画像の画像品質スコアにより前記複数フレームの画像から画像品質要求に合致する少なくとも１フレームの画像をランダムに選び出して前記少なくとも１フレームの目標画像とするステップを含む。
【0025】
これにより、以上の第１種の方式によれば、良い順に前記ビデオストリームの複数フレームの画像のうち画像品質が最も高い又は相対的に最も高いフレーム画像を選び出して目標画像とすることができ、肌質分析の正確度を更に向上させることができる。
【0026】
第２種の方式は以下の通りである。
【0027】
前記ビデオストリームの若干フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とする前記ステップは、
前記ビデオストリームから複数フレームの画像を抽出するステップと、
前記複数フレームの画像を１フレーム目の画像から順にスコアリングし、各フレームの画像をスコアリングして画像品質スコアを得た後、このフレームの画像の画像品質スコアが画像品質要求を満たすか否かを判断し、このフレームの画像の画像品質スコアが画像品質要求を満たすと、このフレームの画像を目標画像とすると決定するステップと、
このフレームの画像の画像品質スコアが画像品質要求を満たさないと、画像品質スコアが画像品質要求を満たす目標画像が決定されるまで、前記複数フレームの画像のうちの次のフレームの画像をスコアリングするステップとを含む。
前記ビデオストリームから複数フレームの画像を抽出するステップと、
前記複数フレームの画像を１フレーム目の画像から順にスコアリングし、各フレームの画像をスコアリングして画像品質スコアを得た後、このフレームの画像の画像品質スコアが画像品質要求を満たすか否かを判断し、このフレームの画像の画像品質スコアが画像品質要求を満たすと、このフレームの画像を目標画像とすると決定するステップと、
このフレームの画像の画像品質スコアが画像品質要求を満たさないと、画像品質スコアが画像品質要求を満たす目標画像が決定されるまで、前記複数フレームの画像のうちの次のフレームの画像をスコアリングするステップとを含む。
【0028】
例えば、まず、前記複数フレームの画像のうちの１フレーム目の画像をスコアリングして、当該１フレーム目の画像の画像品質スコアを得、
当該１フレーム目の画像の画像品質スコアが画像品質要求を満たすか否かを判断し、当該１フレーム目の画像の画像品質スコアが画像品質要求を満たすと、当該１フレーム目の画像を目標画像とすると決定し、
当該１フレーム目の画像の画像品質スコアが画像品質要求を満たさないと、前記複数フレームの画像のうちの２フレーム目の画像をスコアリングして、当該２フレーム目の画像の画像品質スコアを得、
当該２フレーム目の画像の画像品質スコアが画像品質要求を満たすか否かを再度判断し、当該２フレーム目の画像の画像品質スコアが画像品質要求を満たすと、当該２フレーム目の画像を目標画像とすると決定し、
当該２フレーム目の画像の画像品質スコアが画像品質要求を満たさないと、前記複数フレームの画像のうちの３フレーム目の画像をスコアリングし、画像品質スコアが画像品質要求を満たす目標画像が決定されるまで、このように繰り返す。
当該１フレーム目の画像の画像品質スコアが画像品質要求を満たすか否かを判断し、当該１フレーム目の画像の画像品質スコアが画像品質要求を満たすと、当該１フレーム目の画像を目標画像とすると決定し、
当該１フレーム目の画像の画像品質スコアが画像品質要求を満たさないと、前記複数フレームの画像のうちの２フレーム目の画像をスコアリングして、当該２フレーム目の画像の画像品質スコアを得、
当該２フレーム目の画像の画像品質スコアが画像品質要求を満たすか否かを再度判断し、当該２フレーム目の画像の画像品質スコアが画像品質要求を満たすと、当該２フレーム目の画像を目標画像とすると決定し、
当該２フレーム目の画像の画像品質スコアが画像品質要求を満たさないと、前記複数フレームの画像のうちの３フレーム目の画像をスコアリングし、画像品質スコアが画像品質要求を満たす目標画像が決定されるまで、このように繰り返す。
【0029】
このように、第２種の方式において、１フレーム目の画像から画像品質スコアリングを行い、且つ当該１フレーム目の画像の画像品質スコアが画像品質要求を満たすか否かを判断し、１フレーム目の画像が画像品質要求を満たすと、当該１フレーム目の画像を目標画像とする。この場合に、目標画像を１フレームだけ選択して肌質分析を行うことを目的とすると、前記複数フレームの画像のうちの２フレーム目の画像、３フレーム目の画像等に対して画像品質スコアリング、及び画像品質要求に合致するか否かについての判断を行わず、目標画像の選択手順を終了することができる。従って、データ演算量を極めて大きい程度減少させることができる。１フレームの目標画像を決定した後、２フレーム目の目標画像、３フレーム目の目標画像等を更に決定する必要がある時に、類似的な判断過程を継続し、２フレーム目の目標画像、３フレーム目の目標画像等が選び出されると、目標画像の選択手順を終了する。
【0030】
いくつかの実施例では、前記複数フレームの画像の全てに対して画像品質スコアリング、及び画像品質要求に合致するか否かについての判断を行ったとしても、目標画像として画像品質要求に合致するフレーム画像を選び出さなかった場合に、画像品質要求を満たす目標画像が選び出されるまで、前記ビデオストリームから当該複数フレームの画像と異なる次のグループの複数フレームの画像を再度抽出し、そして当該次のグループの複数フレームの画像の画像品質スコアリングを再度行って、画像品質要求を満たす目標画像を選択する。
【0031】
いくつかの実施例では、ビデオストリームから１グループの複数フレームの画像を抽出し、例えば、１グループの複数フレームの画像は連続した１０フレームの画像であってよく、前記ビデオストリームの開始位置から選択された１グループの複数フレームの画像であってよく、次のグループの複数フレームの画像を再度抽出するというのは、前記１グループの複数フレームの画像の後尾部から抽出することであり、例えば、１１フレーム目の画像から連続した１０フレームの画像を抽出し、画像品質スコアが画像品質要求を満たす目標画像が決定されるまで、このように繰り返す。他の実施例では、ビデオストリームから１グループの複数フレームの画像を抽出するというのは、前記ビデオストリームの任意位置から１グループの複数フレームの画像を選択することであってもよく、次のグループの複数フレームの画像を再度抽出するというのは、前記１グループの複数フレームの画像と重ならない別の位置から抽出することであり、要するに、次のグループのフレーム画像が当該１グループの複数フレームの画像のフレーム画像と重ならないことを確保できればよい。例えば、１グループの複数フレームの画像は２１フレーム目の画像から連続した１０フレームの画像であってよく、次のグループの複数フレームの画像は４１フレーム目の画像から連続した１０フレームの画像であってよい。
【0032】
いくつかの実施例では、各フレームの画像に対して画像品質スコアリングを行うステップは、
各フレームの画像に対して、鮮明度、光照射度及び正面度のうちの少なくとも一種を含む少なくとも一つの次元から品質ラベリングを行って少なくとも一つのラベリング結果を得るステップ、
各フレームの画像のラベリング結果により各フレームの画像の画像品質スコアを得るステップを含む。
各フレームの画像に対して、鮮明度、光照射度及び正面度のうちの少なくとも一種を含む少なくとも一つの次元から品質ラベリングを行って少なくとも一つのラベリング結果を得るステップ、
各フレームの画像のラベリング結果により各フレームの画像の画像品質スコアを得るステップを含む。
【0033】
理解されるように、他の実施例では、前記少なくとも一つの次元は更に他の次元を含んでもよく、ここで限定されることがない。
【0034】
本願の一実施例でフレーム画像をラベリングする各種の場合の統計例である図３を参照されたい。
【0035】
図３は各フレームの画像をラベリングする三つの次元を示し、それらはそれぞれ鮮明度、正面度及び光照射度である。その中、各次元はそれぞれ合格と不合格の場合を含む。合格を満たす場合に、このフレームの画像の当該次元で第１ラベルを付け、不合格を満たす場合に、このフレームの画像の当該次元で第２ラベルを付ける。前記第１ラベルと前記第２ラベルはそれぞれ異なる意味を表す。例えば、鮮明度次元の場合、前記第１ラベルが１であると、鮮明であることを表し、前記第２ラベルが０であると、鮮明ではないことを表す。合格鮮明度についての定義は、顔が鮮明で、美学的特徴が識別できることである。不合格鮮明度の場合は、著しくぼやけている場合、ニキビ、あざ、細かいシワが識別できない場合、顔部の部分領域がぼやけている場合等を含む。正面度次元の場合、前記第１ラベルが１であると、正面を表し、前記第２ラベルが０であると、非正面を表す。合格正面度についての定義は、顔が正面から撮像され、傾いたり、遮蔽されたりしないことである。不合格正面度の場合は、顔を下に向けたり顔を上に向けたりしている場合、左・右に傾いている場合、不完全であり、又は遮蔽されている場合、表情が目立っている場合等を含む。光照射度次元の場合、前記第１ラベルが１であると、光照射が良好であることを表し、前記第２ラベルが０であると、光照射が不良であることを表す。合格光照射度についての定義は、光照射が十分であり、均一であり、強光点がなく、色ズレが斑点、あざ、ニキビの判断に影響を与えないことである。不合格光照射度の場合は、光照射度が強過ぎる又は暗過ぎる場合、光照射が不均一である場合、赤過ぎる又は緑過ぎる場合、強光点がある場合等を含む。
【0036】
いくつかの実施例では、フレーム画像毎にラベリング結果を出力するステップは、
フレーム画像毎に少なくとも一つの次元のラベリング結果を出力するステップを含み、ここで、各次元のラベリング結果はこのフレームの画像の当該次元でのパフォーマンスが良好となる確率値を表す。
フレーム画像毎に少なくとも一つの次元のラベリング結果を出力するステップを含み、ここで、各次元のラベリング結果はこのフレームの画像の当該次元でのパフォーマンスが良好となる確率値を表す。
【0037】
例えば、一例において、目標画像に対する画像品質評価の例は以下の通りである。
【0038】
１フレームの画像の画像品質評価モデルによる出力はＯｎ＝（Ｐｑｏ，Ｐｚｏ，Ｐｇｏ）であり、ただし、Ｐｑｏ、Ｐｚｏ、Ｐｇｏはそれぞれ鮮明度、正面度、光照射度が良好となる確率値を表し、値の範囲が［０，１］である。例えば、Ｐｑｏ値が０．７であると、フレーム画像が鮮明となる確率が０．７であることを表す。Ｐｚｏ＝０．３は、フレーム画像が正面となる確率が０．３である（即ち、正面ではない）ことを表し、Ｐｇｏ＝０．５は、フレーム画像の光照射が良好となる確率が０．５である（良好と不良との間に介在する）ことを表す。
【0039】
いくつかの実施例では、各フレームの画像のラベリング結果により各フレームの画像の画像品質スコアを得るステップは、
フレーム画像の各次元の評価確率を総合的にスコアリングするステップを含む。
フレーム画像の各次元の評価確率を総合的にスコアリングするステップを含む。
【0040】
例えば、上記例において、このフレームの画像の総合的スコア＝（Ｐｑｏ＋Ｐｚｏ＋Ｐｇｏ）／３＊１００％である。当該総合的スコアは各フレームの画像の画像品質スコアとなる。理解されるように、他の実施例では、各フレームの画像の各次元でのパフォーマンスが良好となる確率値を得た後、フレーム画像の各次元の評価確率を総合的にスコアリングすることは上述した平均スコアを求める方式に限定されなくてもよく、各次元に重み係数を賦与してから平均値を求める方式又は他の方式であってもよく、ここで限定されることがない。
【0041】
いくつかの実施例では、画像品質要求に合致する少なくとも１フレームの画像を選び出すステップは、
各フレームの画像の画像品質スコアをシステム設定閾値と比較し、前記システム設定閾値を超えると、合格を表し、前記システム設定閾値より低いと、不合格を表し、少なくとも１フレームの目標画像として画像品質要求に合致する少なくとも１フレームの画像が選び出されるまで、フレーム画像から選択することを継続するステップを含む。
各フレームの画像の画像品質スコアをシステム設定閾値と比較し、前記システム設定閾値を超えると、合格を表し、前記システム設定閾値より低いと、不合格を表し、少なくとも１フレームの目標画像として画像品質要求に合致する少なくとも１フレームの画像が選び出されるまで、フレーム画像から選択することを継続するステップを含む。
【0042】
いくつかの実施例では、各フレームの画像に対して少なくとも一つの次元から品質ラベリングを行って少なくとも一つのラベリング結果を得る前記ステップの前に、前記方法は、
前記少なくとも一つの次元の異なる場合を包括している若干のトレーニング画像を入力するステップと、
前記若干のトレーニング画像によりインテリジェントスコアリングモデルのトレーニングを行うステップと、
前記インテリジェントスコアリングモデルのトレーニングが完了した後、各フレームの画像に対する画像品質スコアリングが各フレームの画像を前記インテリジェントスコアリングモデルに入力して画像品質スコアリングを行うことになるステップとを更に含む。
前記少なくとも一つの次元の異なる場合を包括している若干のトレーニング画像を入力するステップと、
前記若干のトレーニング画像によりインテリジェントスコアリングモデルのトレーニングを行うステップと、
前記インテリジェントスコアリングモデルのトレーニングが完了した後、各フレームの画像に対する画像品質スコアリングが各フレームの画像を前記インテリジェントスコアリングモデルに入力して画像品質スコアリングを行うことになるステップとを更に含む。
【0043】
いくつかの実施例では、インテリジェントスコアリングモデルのトレーニング過程は以下の通りである。
１、データラベリング。全てのトレーニング画像を上記方法でラベリングして分類し、全てのトレーニング画像を分類してトレーニングサンプルとテストサンプルを得る。ここで、各画像のラベリングにおいて、Ｌｎ＝（Ｐｑ，Ｐｚ，Ｐｇ）であり、Ｌｎはｎ枚目の画像のラベルを表し、ただし、Ｐｑ、Ｐｚ、Ｐｇはそれぞれ画像の鮮明度、正面度、光照射度次元での値を表し、値として０又は１を取り、ただし、０は鮮明ではないこと、正面ではないこと又は光照射が不良であることを表し、１は鮮明であること、正面であること又は光照射が良好であることを表す。例を挙げると、画像が鮮明で、正面ではなく、光照射が不良である場合は、当該画像ラベルは（１，０，０）となる。
２、ＣＮＮ（畳み込みニューラルネットワーク）モデルの構築。ＣＮＮ顔画像評価の三分類（鮮明、正面、光照射）モデルを構築し、モデル損失関数とオプティマイザを設定し、モデルパラメータを初期化させる。
モデルトレーニング：トレーニングサンプルをＣＮＮモデルに入力し、モデルが収束するまで、損失関数とオプティマイザの設定により、モデルパラメータに対して複数回の学習反復を行う。
モデル評価：テストサンプルをトレーニングして得られたＣＮＮモデルに入力し、モデルが予測した分類結果をラベルと比較し、モデル予測精度を評価し、精度が制御閾値（例えば、９９％）より大きいと、モデルトレーニングが完了し、そうでなければ、モデルトレーニングとモデル評価における学習パラメータ又は反復回数を調整して、再度トレーニングを行う。
３、モデル精度定義。モデルが予測したのが全てポジティブサンプル（鮮明で正面であり、光照射が良好である）であり、正確に予測した個数がｍであり、当該サンプルセットにおける全てのポジティブサンプルがｎであると仮定すると、モデル精度がｍ／ｎとなる。
モデル評価指標として精度を選択する原因は、選び出されたポジティブサンプル画像の誤り率が小さいことを確保し、選び出された画像が高い品質を有することを確保するようにしたいことである。
４、モデル保存配置。トレーニングして得られたモデルを保存し、実際に動作するシステムに配置する。
１、データラベリング。全てのトレーニング画像を上記方法でラベリングして分類し、全てのトレーニング画像を分類してトレーニングサンプルとテストサンプルを得る。ここで、各画像のラベリングにおいて、Ｌｎ＝（Ｐｑ，Ｐｚ，Ｐｇ）であり、Ｌｎはｎ枚目の画像のラベルを表し、ただし、Ｐｑ、Ｐｚ、Ｐｇはそれぞれ画像の鮮明度、正面度、光照射度次元での値を表し、値として０又は１を取り、ただし、０は鮮明ではないこと、正面ではないこと又は光照射が不良であることを表し、１は鮮明であること、正面であること又は光照射が良好であることを表す。例を挙げると、画像が鮮明で、正面ではなく、光照射が不良である場合は、当該画像ラベルは（１，０，０）となる。
２、ＣＮＮ（畳み込みニューラルネットワーク）モデルの構築。ＣＮＮ顔画像評価の三分類（鮮明、正面、光照射）モデルを構築し、モデル損失関数とオプティマイザを設定し、モデルパラメータを初期化させる。
モデルトレーニング：トレーニングサンプルをＣＮＮモデルに入力し、モデルが収束するまで、損失関数とオプティマイザの設定により、モデルパラメータに対して複数回の学習反復を行う。
モデル評価：テストサンプルをトレーニングして得られたＣＮＮモデルに入力し、モデルが予測した分類結果をラベルと比較し、モデル予測精度を評価し、精度が制御閾値（例えば、９９％）より大きいと、モデルトレーニングが完了し、そうでなければ、モデルトレーニングとモデル評価における学習パラメータ又は反復回数を調整して、再度トレーニングを行う。
３、モデル精度定義。モデルが予測したのが全てポジティブサンプル（鮮明で正面であり、光照射が良好である）であり、正確に予測した個数がｍであり、当該サンプルセットにおける全てのポジティブサンプルがｎであると仮定すると、モデル精度がｍ／ｎとなる。
モデル評価指標として精度を選択する原因は、選び出されたポジティブサンプル画像の誤り率が小さいことを確保し、選び出された画像が高い品質を有することを確保するようにしたいことである。
４、モデル保存配置。トレーニングして得られたモデルを保存し、実際に動作するシステムに配置する。
【0044】
理解されるように、他の実施例では、他のアルゴリズムによってトレーニングして上記インテリジェントスコアリングモデルを得ることができ、ここで限定されることがない。
【0045】
いくつかの実施例では、前記少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得る前記ステップは、
ほうれい線、目の下のくま、毛穴、シワ、黒ニキビ、そばかすのうちの少なくとも一種を含む、各前記目標画像内のキーポイント情報を抽出するステップと、
前記少なくとも１フレームの目標画像内のキーポイント情報により肌質の良否を評価して肌質分析結果を得るステップとを含む。
ほうれい線、目の下のくま、毛穴、シワ、黒ニキビ、そばかすのうちの少なくとも一種を含む、各前記目標画像内のキーポイント情報を抽出するステップと、
前記少なくとも１フレームの目標画像内のキーポイント情報により肌質の良否を評価して肌質分析結果を得るステップとを含む。
【0046】
いくつかの実施例では、前記少なくとも１フレームの目標画像は１フレームの目標画像を有する場合と少なくとも２フレームの目標画像を有する場合を含む。前記目標画像が１フレームの目標画像である時に、当該目標画像に対して肌質分析を行って前記肌質分析結果を得る。前記目標画像が複数フレームの目標画像である時に、前記複数フレームの目標画像に対してそれぞれ肌質分析を行って複数の分析結果を得、前記複数の分析結果により総合的に分析してから前記肌質分析結果を得る。
【0047】
いくつかの実施例では、前記方法は、
前記少なくとも１フレームの目標画像の画像品質スコアを出力するステップを更に含む。
前記少なくとも１フレームの目標画像の画像品質スコアを出力するステップを更に含む。
【0048】
いくつかの実施例では、前記少なくとも１フレームの目標画像が１フレームの目標画像である時に、このフレームの目標画像の画像品質スコアを出力する。
【0049】
別の実施例では、前記少なくとも１フレームの目標画像が２フレーム又は複数フレームの目標画像である時に、これら２フレーム又は複数フレームの目標画像の総合的な画像品質スコアを出力することができる。
【0050】
本願の別の実施例における肌質分析方法の模式的なフローチャートである図４を参照されたい。
【0051】
ステップＳ４１０：予め設定された時間帯内の若干フレームの画像を含む、目標肌箇所のビデオストリームを取得するように撮像装置１３を制御する。
ステップＳ４２０：前記ビデオストリームから画像を抽出する。
ステップＳ４３０：抽出した画像に対して画像品質スコアリングを行う。
ステップＳ４４０：画像品質スコアがシステム設定閾値より大きいか否かを判断し、ＹＥＳの場合に、ステップＳ４５０に移行し、ＮＯの場合に、ステップＳ４１０に移行する。
ステップＳ４５０：前記少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得る。
ステップＳ４６０：前記肌質分析結果を出力し、前記画像品質スコアを出力する。
ステップＳ４２０：前記ビデオストリームから画像を抽出する。
ステップＳ４３０：抽出した画像に対して画像品質スコアリングを行う。
ステップＳ４４０：画像品質スコアがシステム設定閾値より大きいか否かを判断し、ＹＥＳの場合に、ステップＳ４５０に移行し、ＮＯの場合に、ステップＳ４１０に移行する。
ステップＳ４５０：前記少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得る。
ステップＳ４６０：前記肌質分析結果を出力し、前記画像品質スコアを出力する。
【0052】
本願で肌質分析を行う総体的な構想は以下の通りである。トータルのビデオストリームを取得してから当該ビデオストリームから連続した複数フレームの画像を抽出し、次に、画像品質検出ＡＩアルゴリズムにより連続した複数フレームの写真の顔画像ラベルの抽出、画像スコアリングを行い、そして画像品質スコアを保存し出力する。画像品質要求に合致しない画像を破棄する。当該複数フレームの画像から品質要求に合致する画像が見つからなかった場合に、目標画像として画像品質要求に合致する画像が選び出されるまで、当該ビデオストリームから連続した複数フレームの画像を再度抽出し、画像ラベルの抽出及び評価結果のスコアリングを再度行う。次に、肌質分析ＡＩアルゴリズムを用いて目標画像に対して肌質分析を行う。これにより、本願は画像品質検出ＡＩアルゴリズムと肌質分析ＡＩアルゴリズムを組み合わせることによって、高品質画像を基礎とした肌質分析を実現でき、分析結果がより安定化し、異なる回の測定結果の比較可能性がより高くなる。
【0053】
本願は、一つのプロセッサによって実行されて、前記の肌質分析方法のステップ、即ち、
予め設定された時間帯内の若干フレームの画像を含む、目標肌箇所のビデオストリームを取得するように撮像装置１３を制御するステップと、
前記ビデオストリームの若干フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とするステップと、
前記少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得るステップと、
前記肌質分析結果を出力するステップとを実行することができるコンピュータプログラムを記憶しているコンピュータ可読記憶媒体を更に提供する。
予め設定された時間帯内の若干フレームの画像を含む、目標肌箇所のビデオストリームを取得するように撮像装置１３を制御するステップと、
前記ビデオストリームの若干フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とするステップと、
前記少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得るステップと、
前記肌質分析結果を出力するステップとを実行することができるコンピュータプログラムを記憶しているコンピュータ可読記憶媒体を更に提供する。
【0054】
また、メモリ１１は、フラッシュドライブ、読み出し専用メモリ（英語：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ＲＯＭと略称する）、ランダムアクセスメモリ（英語：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＲＡＭと略称する）、磁気ディスク又は光ディスク等を含んでも良い。前記プロセッサ１２は共通プロセッサ、デジタルシグナルプロセッサ、専用集積回路、フィールド・プログラマブル・ゲート・アレイ又は他のプログラマブル論理デバイス、離散ゲート又はトランジスタ論理デバイス、離散ハードウェアコンポーネントであってもよい。プロセッサは本発明の実施例で開示された各方法、ステップ及び論理ブロック図を実現又は実行することができる。プロセッサは、画像処理プロセッサ、マイクロプロセッサであってもよいし、いかなる一般のプロセッサ等であってもよい。本発明の実施例によって開示された方法のステップは、ハードウェア復号プロセッサにより実行、完了し、又は復号プロセッサ中のハードウェア及びソフトウェアモジュールの組み合わせにより実行、完了するように直接体現することができる。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読み出し専用メモリ、プログラマブル読み出し専用メモリ又は電気的消去可能なプログラマブルメモリ、レジスタなど、本分野でよく用いられている記憶媒体にあってもよい。当該記憶媒体はメモリに位置し、例えば、プロセッサ１２はメモリ中のアプリケーション、コンピュータ命令又はデータを読み出し、そのハードウェアと提携して、電子機器１によって実行される上記方法のステップを完成することができる。
【0055】
図５を参照すると、本願は、
予め設定された時間帯内の若干フレームの画像を含む、目標肌箇所のビデオストリームを取得するように撮像装置を制御するために用いられる取得制御モジュール５１０と、
前記ビデオストリームの若干フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とするために用いられる画像選択モジュール５２０と、
前記少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得るために用いられる肌質分析モジュール５３０と、
前記肌質分析結果を出力するために用いられる出力制御モジュール５４０とを備える肌質分析装置５００を更に提供する。
予め設定された時間帯内の若干フレームの画像を含む、目標肌箇所のビデオストリームを取得するように撮像装置を制御するために用いられる取得制御モジュール５１０と、
前記ビデオストリームの若干フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とするために用いられる画像選択モジュール５２０と、
前記少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得るために用いられる肌質分析モジュール５３０と、
前記肌質分析結果を出力するために用いられる出力制御モジュール５４０とを備える肌質分析装置５００を更に提供する。
【0056】
本願により提供されるいくつかの実施例では、開示する肌質分析装置５００は他の形態で実現できることを理解すべきである。例えば、上述した肌質分析装置５００の実施例は例示的なものに過ぎず、例えば、前記ユニットの区別は、論理機能の区別に過ぎず、実際に実現時に別の形態で区別してもよく、例えば、複数のユニット又はコンポーネントは組み合わせてもよく、又は別のシステムに統合してもよく、又はいくつかの特徴を省略してもよく、もしくは実行しなくてもよい。一方、示した又は説明した相互の結合又は直接結合又は通信接続はいくつかのインタフェース、装置又はユニットを介した間接結合又は通信接続であり得、電気的又は他の形態であり得る。
【0057】
以上から分かるように、本願は上述したような優れた特性を有するため、それを用いると、従来技術にない効果を増加して実用性を有するようになり、極めて実用的価値を有する製品となる。
【0058】
上記は本願の好ましい実施例に過ぎず、本願を限定するためのものではなく、本願の構想と原則を逸脱しない限り行った修正、同等な置き換え又は改良等は、全て本願の保護範囲に含まれるべきである。
【符号の説明】
【0059】
１ 電子機器
１１ メモリ
１２ プロセッサ
１３ 撮像装置
５００ 肌質分析装置
５１０ 取得制御モジュール
５２０ 画像選択モジュール
５３０ 肌質分析モジュール
５４０ 出力制御モジュール
１１ メモリ
１２ プロセッサ
１３ 撮像装置
５００ 肌質分析装置
５１０ 取得制御モジュール
５２０ 画像選択モジュール
５３０ 肌質分析モジュール
５４０ 出力制御モジュール
【図1】
【図2】
【図3】
【図4】
【図5】
【手続補正書】
【提出日】2024-04-11
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
電子機器に用いられる肌質分析方法において、
予め設定された時間帯内の複数のフレームの画像を含む、目標肌箇所のビデオストリームを取得するように撮像装置を制御するステップと、
前記ビデオストリームの複数のフレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とするステップと、
前記少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得るステップと、
前記肌質分析結果を出力するステップとを含むこと、
前記ビデオストリームの複数のフレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とする前記ステップは、
前記ビデオストリームから複数フレームの画像を抽出するステップと、
前記複数フレームの画像を１フレーム目の画像から順にスコアリングし、各フレームの画像をスコアリングして画像品質スコアを得た後、このフレームの画像の画像品質スコアが画像品質要求を満たすか否かを判断し、このフレームの画像の画像品質スコアが画像品質要求を満たすと、このフレームの画像を目標画像とすると決定するステップと、
このフレームの画像の画像品質スコアが画像品質要求を満たさないと、画像品質スコアが画像品質要求を満たす目標画像が決定されるまで、前記複数フレームの画像のうちの次のフレームの画像をスコアリングするステップとを含むこと、
各フレームの画像に対して画像品質スコアリングを行うステップは、
各フレームの画像に対して、鮮明度、光照射度、及び正面度から品質ラベリングを行ってラベリング結果を得るステップと、
各フレームの画像のラベリング結果により各フレームの画像の画像品質スコアを得るステップを含むこと、
を特徴とする、肌質分析方法。
予め設定された時間帯内の複数のフレームの画像を含む、目標肌箇所のビデオストリームを取得するように撮像装置を制御するステップと、
前記ビデオストリームの複数のフレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とするステップと、
前記少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得るステップと、
前記肌質分析結果を出力するステップとを含むこと、
前記ビデオストリームの複数のフレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とする前記ステップは、
前記ビデオストリームから複数フレームの画像を抽出するステップと、
前記複数フレームの画像を１フレーム目の画像から順にスコアリングし、各フレームの画像をスコアリングして画像品質スコアを得た後、このフレームの画像の画像品質スコアが画像品質要求を満たすか否かを判断し、このフレームの画像の画像品質スコアが画像品質要求を満たすと、このフレームの画像を目標画像とすると決定するステップと、
このフレームの画像の画像品質スコアが画像品質要求を満たさないと、画像品質スコアが画像品質要求を満たす目標画像が決定されるまで、前記複数フレームの画像のうちの次のフレームの画像をスコアリングするステップとを含むこと、
各フレームの画像に対して画像品質スコアリングを行うステップは、
各フレームの画像に対して、鮮明度、光照射度、及び正面度から品質ラベリングを行ってラベリング結果を得るステップと、
各フレームの画像のラベリング結果により各フレームの画像の画像品質スコアを得るステップを含むこと、
を特徴とする、肌質分析方法。
【請求項2】
前記ビデオストリームの複数のフレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とする前記ステップは、
前記ビデオストリームから複数フレームの画像を抽出するステップと、
前記複数フレームの画像をそれぞれスコアリングして、各フレームの画像の画像品質スコアを得るステップと、
各フレームの画像の画像品質スコアにより前記複数フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して前記少なくとも１フレームの目標画像とするステップとを含むことを特徴とする、請求項１に記載の肌質分析方法。
前記ビデオストリームから複数フレームの画像を抽出するステップと、
前記複数フレームの画像をそれぞれスコアリングして、各フレームの画像の画像品質スコアを得るステップと、
各フレームの画像の画像品質スコアにより前記複数フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して前記少なくとも１フレームの目標画像とするステップとを含むことを特徴とする、請求項１に記載の肌質分析方法。
【請求項3】
各フレームの画像の画像品質スコアにより前記複数フレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して前記少なくとも１フレームの目標画像とする前記ステップは、
各フレームの画像の画像品質スコアにより前記複数フレームの画像から画像品質スコアが最も高い１フレーム又は画像品質スコアが相対的に最も高い少なくとも２フレームの画像を選び出して前記少なくとも１フレームの目標画像とするステップ、又は、
各フレームの画像の画像品質スコアにより前記複数フレームの画像から画像品質要求に合致する少なくとも１フレームの画像をランダムに選び出して前記少なくとも１フレームの目標画像とするステップを含むことを特徴とする、請求項２に記載の肌質分析方法。
各フレームの画像の画像品質スコアにより前記複数フレームの画像から画像品質スコアが最も高い１フレーム又は画像品質スコアが相対的に最も高い少なくとも２フレームの画像を選び出して前記少なくとも１フレームの目標画像とするステップ、又は、
各フレームの画像の画像品質スコアにより前記複数フレームの画像から画像品質要求に合致する少なくとも１フレームの画像をランダムに選び出して前記少なくとも１フレームの目標画像とするステップを含むことを特徴とする、請求項２に記載の肌質分析方法。
【請求項4】
当該複数フレームの画像から画像品質要求を満たす目標画像が見つからなかった時に、前記ビデオストリームから当該複数フレームの画像と異なる次のグループの複数フレームの画像を再度抽出し、そして画像品質要求を満たす目標画像が選び出されるまで、当該次のグループの複数フレームの画像の画像品質スコアリングを再度行うステップを更に含むことを特徴とする、請求項２または請求項３に記載の肌質分析方法。
【請求項5】
前記少なくとも一つの目標画像の画像品質スコアを出力するステップを更に含むことを特徴とする、請求項２または請求項３に記載の肌質分析方法。
【請求項6】
前記目標画像により肌質分析を行って肌質分析結果を得る前記ステップは、
前記目標画像が１フレームの目標画像である時に、当該目標画像に対して肌質分析を行って前記肌質分析結果を得るステップ、又は、
前記目標画像が複数フレームの目標画像である時に、前記複数フレームの目標画像に対してそれぞれ肌質分析を行って複数の分析結果を得、前記複数の分析結果により総合的に分析してから前記肌質分析結果を得るステップを含むことを特徴とする、請求項１に記載の肌質分析方法。
前記目標画像が１フレームの目標画像である時に、当該目標画像に対して肌質分析を行って前記肌質分析結果を得るステップ、又は、
前記目標画像が複数フレームの目標画像である時に、前記複数フレームの目標画像に対してそれぞれ肌質分析を行って複数の分析結果を得、前記複数の分析結果により総合的に分析してから前記肌質分析結果を得るステップを含むことを特徴とする、請求項１に記載の肌質分析方法。
【請求項7】
前記ラベリング結果を得る前に、
複数のトレーニング画像を入力するステップと、
前記複数のトレーニング画像により、明度、光照射度、及び正面度に対してインテリジェントスコアリングモデルのトレーニングを行うステップと、
前記インテリジェントスコアリングモデルのトレーニングが完了した後、各フレームの画像に対する画像品質スコアリングが各フレームの画像を前記インテリジェントスコアリングモデルに入力して画像品質スコアリングを行うことになるステップとを更に含むことを特徴とする、請求項１に記載の肌質分析方法。
複数のトレーニング画像を入力するステップと、
前記複数のトレーニング画像により、明度、光照射度、及び正面度に対してインテリジェントスコアリングモデルのトレーニングを行うステップと、
前記インテリジェントスコアリングモデルのトレーニングが完了した後、各フレームの画像に対する画像品質スコアリングが各フレームの画像を前記インテリジェントスコアリングモデルに入力して画像品質スコアリングを行うことになるステップとを更に含むことを特徴とする、請求項１に記載の肌質分析方法。
【請求項8】
前記少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得る前記ステップは、
ほうれい線、目の下のくま、毛穴、シワ、黒ニキビ、そばかすのうちの少なくとも一種を含む、各フレームの目標画像内のキーポイント情報を抽出するステップと、
前記少なくとも１フレームの目標画像内のキーポイント情報により肌質の良否を評価して前記肌質分析結果を得るステップとを含むことを特徴とする、請求項１に記載の肌質分析方法。
ほうれい線、目の下のくま、毛穴、シワ、黒ニキビ、そばかすのうちの少なくとも一種を含む、各フレームの目標画像内のキーポイント情報を抽出するステップと、
前記少なくとも１フレームの目標画像内のキーポイント情報により肌質の良否を評価して前記肌質分析結果を得るステップとを含むことを特徴とする、請求項１に記載の肌質分析方法。
【請求項9】
プロセッサ、メモリ及び撮像装置を備え、前記撮像装置と前記メモリがそれぞれ前記プロセッサに電気的に接続され、前記メモリにコンピュータプログラムが記憶されており、前記プロセッサが前記コンピュータプログラムを実行して、請求項１に記載の肌質分析方法のステップを実行することを特徴とする、電子機器。
【請求項10】
一つのプロセッサによって実行されて、請求項１に記載の肌質分析方法のステップを実行することができるコンピュータプログラムを記憶していることを特徴とする、コンピュータ可読記憶媒体。
【請求項11】
予め設定された時間帯内の複数のフレームの画像を含む、目標肌箇所のビデオストリームを取得するように撮像装置を制御するために用いられる取得制御モジュールと、
前記ビデオストリームの複数のフレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とするために用いられる画像選択モジュールと、
前記少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得るために用いられる肌質分析モジュールと、
前記肌質分析結果を出力するために用いられる出力制御モジュールを備え、
前記ビデオストリームの複数のフレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とする前記ステップは、
前記ビデオストリームから複数フレームの画像を抽出するステップと、
前記複数フレームの画像を１フレーム目の画像から順にスコアリングし、各フレームの画像をスコアリングして画像品質スコアを得た後、このフレームの画像の画像品質スコアが画像品質要求を満たすか否かを判断し、このフレームの画像の画像品質スコアが画像品質要求を満たすと、このフレームの画像を目標画像とすると決定するステップと、
このフレームの画像の画像品質スコアが画像品質要求を満たさないと、画像品質スコアが画像品質要求を満たす目標画像が決定されるまで、前記複数フレームの画像のうちの次のフレームの画像をスコアリングするステップとを含むこと、
各フレームの画像に対して画像品質スコアリングを行うステップは、
各フレームの画像に対して、鮮明度、光照射度、及び正面度から品質ラベリングを行ってラベリング結果を得るステップと、
各フレームの画像のラベリング結果により各フレームの画像の画像品質スコアを得るステップを含むこと、を特徴とする、肌質分析装置。
前記ビデオストリームの複数のフレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とするために用いられる画像選択モジュールと、
前記少なくとも１フレームの目標画像により肌質分析を行って肌質分析結果を得るために用いられる肌質分析モジュールと、
前記肌質分析結果を出力するために用いられる出力制御モジュールを備え、
前記ビデオストリームの複数のフレームの画像から画像品質要求に合致する少なくとも１フレームの画像を選び出して少なくとも１フレームの目標画像とする前記ステップは、
前記ビデオストリームから複数フレームの画像を抽出するステップと、
前記複数フレームの画像を１フレーム目の画像から順にスコアリングし、各フレームの画像をスコアリングして画像品質スコアを得た後、このフレームの画像の画像品質スコアが画像品質要求を満たすか否かを判断し、このフレームの画像の画像品質スコアが画像品質要求を満たすと、このフレームの画像を目標画像とすると決定するステップと、
このフレームの画像の画像品質スコアが画像品質要求を満たさないと、画像品質スコアが画像品質要求を満たす目標画像が決定されるまで、前記複数フレームの画像のうちの次のフレームの画像をスコアリングするステップとを含むこと、
各フレームの画像に対して画像品質スコアリングを行うステップは、
各フレームの画像に対して、鮮明度、光照射度、及び正面度から品質ラベリングを行ってラベリング結果を得るステップと、
各フレームの画像のラベリング結果により各フレームの画像の画像品質スコアを得るステップを含むこと、を特徴とする、肌質分析装置。