特表 2023-540273 眼部状態検出による画像処理方法、装置及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-09-22

(54)【発明の名称】眼部状態検出による画像処理方法、装置及び記憶媒体

(51)【国際特許分類】

   H04N 23/60 20230101AFI20230914BHJP

   G06T 1/00 20060101ALI20230914BHJP

   H04N 1/387 20060101ALI20230914BHJP

【ＦＩ】

H04N23/60 500

G06T1/00 340A

H04N1/387 110

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023513999

(86)(22)【出願日】2021-08-27

(85)【翻訳文提出日】2023-03-01

(86)【国際出願番号】 CN2021114881

(87)【国際公開番号】W WO2022042670

(87)【国際公開日】2022-03-03

(31)【優先権主張番号】202010899317.9

(32)【優先日】2020-08-31

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】520476341

【氏名又は名称】北京字節跳動網絡技術有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂｙｔｅｄａｎｃｅ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】Ｒｏｏｍ Ｂ－００３５， ２／Ｆ， Ｎｏ．３ Ｂｕｉｌｄｉｎｇ， Ｎｏ．３０， Ｓｈｉｘｉｎｇ Ｒｏａｄ， Ｓｈｉｊｉｎｇｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００４１ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】シュ，ワン

(72)【発明者】

【氏名】チェン，グァンフゥイ

(72)【発明者】

【氏名】シュ，イーティエン

【テーマコード（参考）】

5B057

5C122

【Ｆターム（参考）】

5B057CE08

5B057DA08

5B057DC05

5C122DA04

5C122EA61

5C122FA08

5C122FH10

5C122FH11

5C122FH14

5C122FH18

5C122GA01

5C122HA13

5C122HA35

5C122HA46

5C122HA88

5C122HB01

5C122HB05

5C122HB10

(57)【要約】

本開示は眼部状態検出による画像処理方法、装置、機器及び記憶媒体を開示している。前記方法は、処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得し、その後、そのうちから当該ターゲット顔に対応するターゲット効果画像を決定し、最後に、当該ターゲット効果画像を処理対象となる画像セットにおける基準画像上に合成して、処理対象となる画像セットに対応するターゲット画像を取得するステップを含む。本開示において、眼部状態検出に基づいて、各顔のターゲット効果画像を決定し、その後、各ターゲット効果画像を基準画像上に合成することで、ターゲット画像における各顔の眼部状態の効果を向上させ、ターゲット画像の品質が保証され、ターゲット画像に対するユーザーの満足度を高める。

【特許請求の範囲】

【請求項1】

眼部状態検出による画像処理方法であって、
処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得するステップであって、前記処理対象となる画像セットには連続する複数フレームの画像が含まれ、前記複数フレームの画像のそれぞれは少なくとも１つの顔を含むステップと、
前記眼部状態が所定の条件を満たしたターゲット領域画像に基づいて、前記ターゲット顔に対応するターゲット効果画像を決定するステップと、
前記ターゲット顔に対応するターゲット効果画像を前記処理対象となる画像セットにおける基準画像上に合成して、前記処理対象となる画像セットに対応するターゲット画像を取得するステップと、を含むことを特徴とする方法。

【請求項2】

前記所定の条件は、眼の開閉程度値が所定の開閉閾値より大きいことを含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得するステップは、
処理対象となる画像セットからターゲット顔の顔画像を決定するステップと、
前記ターゲット顔の顔画像に対して眼部状態検出を行って、前記ターゲット顔の顔画像のうち、眼部状態が所定の条件を満たした顔画像を、ターゲット領域画像として取得するステップと、を含むことを特徴とする請求項１に記載の方法。

【請求項4】

前記ターゲット顔の顔画像に対して眼部状態検出を行うステップは、
前記ターゲット顔の顔画像から前記ターゲット顔の眼画像を抽出するステップと、
前記ターゲット顔の眼画像に対して眼部状態検出を行うステップと、を含むことを特徴とする請求項３に記載の方法。

【請求項5】

前記処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得するステップは、
処理対象となる画像セットからターゲット顔の眼画像を決定するステップと、
前記ターゲット顔の眼画像に対して眼部状態検出を行って、前記ターゲット顔の眼画像のうち、眼部状態が所定の条件を満たした眼画像をターゲット領域画像として取得するステップと、を含むことを特徴とする請求項１に記載の方法。

【請求項6】

前記ターゲット顔の眼画像に対して眼部状態検出を行うステップは、
前記ターゲット顔の眼画像における眼キーポイントの位置情報を決定するステップと、
前記眼キーポイントの位置情報に基づいて、前記眼画像に対応する眼部状態を決定するステップと、を含むことを特徴とする請求項４又は５に記載の方法。

【請求項7】

前記ターゲット顔の眼画像における眼キーポイントの位置情報を決定するステップは、
前記ターゲット顔の眼画像を第１のモデルに入力して、前記眼画像における眼キーポイントの位置情報を取得するステップであって、前記第１のモデルは、眼キーポイントの位置情報がマーキングされた眼画像サンプルに基づいて訓練することで得られるステップを含むことを特徴とする請求項６に記載の方法。

【請求項8】

前記ターゲット顔の眼画像に対して眼部状態検出を行うステップは、
前記ターゲット顔の眼画像における眼状態値を決定するステップであって、前記眼状態値は開状態値及び閉状態値を含むステップと、
前記眼状態値に基づいて、前記眼画像に対応する眼部状態を決定するステップと、を含むことを特徴とする請求項４又は５に記載の方法。

【請求項9】

前記ターゲット顔の眼画像における眼状態値を決定するステップは、
前記ターゲット顔の眼画像を第２のモデルに入力して、前記眼画像における眼状態値を取得するステップであって、前記第２のモデルは、眼状態値がマーキングされた眼画像サンプルに基づいて訓練することで得られるステップを含むことを特徴とする請求項８に記載の方法。

【請求項10】

前記眼画像に対応する眼部状態は、眼の垂直方向の開け幅と水平方向の２つの目じりの距離との比に基づいて決定され、前記眼の垂直方向の開け幅と、水平方向の２つの目じりの距離との比は、前記眼キーポイントの位置情報に基づいて決定されることを特徴とする請求項７に記載の方法。

【請求項11】

前記処理対象となる画像セットにおけるターゲット顔の眼部状態を検出するステップの前に、さらに、
シャッターボタンに対するトリガー操作に応じて、現在の画像フレームを含みかつ前記現在の画像フレームを終了フレームとする、連続する複数フレームのプレビュー画像を、処理対象となる画像セットとして取得するステップを含むことを特徴とする請求項１に記載の方法。

【請求項12】

前記ターゲット顔に対応するターゲット効果画像を前記処理対象となる画像セットにおける基準画像上に合成して、前記処理対象となる画像セットに対応するターゲット画像を取得するステップの前に、さらに、
前記処理対象となる画像セットにおける、シャッターボタンの押しに対応する現在の画像フレームを、基準画像として決定するステップを含むことを特徴とする請求項１に記載の方法。

【請求項13】

前記眼部状態が所定の条件を満たしたターゲット領域画像に基づいて、前記ターゲット顔に対応するターゲット効果画像を決定するステップは、
前記ターゲット顔の眼部状態が所定の条件を満たしたターゲット領域画像における、眼の開閉程度値が最大となるターゲット領域画像を、前記ターゲット顔に対応するターゲット効果画像として決定するステップを含むことを特徴とする請求項１に記載の方法。

【請求項14】

前記処理対象となる画像セットからターゲット顔の顔画像を決定するステップは、
処理対象となる画像セットにおける基準画像に対して顔検出を行って、前記基準画像での各顔の位置情報を決定するステップと、
前記各顔の位置情報に基づいて、前記処理対象となる画像セットにおける画像上の、前記各顔のうちのターゲット顔の位置情報に対応する顔画像を、前記ターゲット顔の顔画像として決定するステップと、を含むことを特徴とする請求項３に記載の方法。

【請求項15】

前記処理対象となる画像セットからターゲット顔の顔画像を決定するステップは、
処理対象となる画像セットにおける画像ごとに顔検出を行って、顔画像を取得するステップと、
類似度が所定の類似閾値より大きい顔画像を、ターゲット顔の顔画像として決定するステップと、を含むことを特徴とする請求項３に記載の方法。

【請求項16】

眼部状態検出による画像処理装置であって、
処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得する第１の検出モジュールであって、前記処理対象となる画像セットには、連続する複数フレームの画像が含まれ、前記複数フレームの画像のそれぞれは少なくとも１つの顔を含む第１の検出モジュールと、
前記眼部状態が所定の条件を満たしたターゲット領域画像に基づいて、前記ターゲット顔に対応するターゲット効果画像を決定する第１の決定モジュールと、
前記ターゲット顔に対応するターゲット効果画像を前記処理対象となる画像セットにおける基準画像上に合成して、前記処理対象となる画像セットに対応するターゲット画像を取得する合成モジュールと、を含むことを特徴とする装置。

【請求項17】

指令が記憶されているコンピュータ可読記憶媒体であって、前記指令が端末機器で実行されるとき、請求項１から１５の何れか１項に記載の方法を前記端末機器に実現させることを特徴とするコンピュータ可読記憶媒体。

【請求項18】

機器であって、メモリと、プロセッサーと、前記メモリに記憶され、前記プロセッサーで実行可能なコンピュータプログラムとを含み、前記プロセッサーは、前記コンピュータプログラムを実行するとき、請求項１から１５の何れか１項に記載の方法を実現することを特徴とする機器。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は２０２０年８月３１日にて中国国家知識産権局に提出され、出願番号が２０２０１０８９９３１７．９であり、出願名称が「眼部状態検出による画像処理方法、装置及び記憶媒体」である中国特許出願に基づく優先権を主張し、その全内容は、援用により本出願に組み込まれる。

【0002】

本開示は、ピクチャデータ処理の分野に関し、特に、眼部状態検出による画像処理方法、装置、機器及び記憶媒体に関している。

【背景技術】

【0003】

写真を撮る際に、撮られた写真において人の眼部状態は理想的ではない（例えば、「目を閉じている人がいる」）という問題が発生する恐れがあるため、ユーザーは、再撮影を必要とし、さらに繰り返して再撮影する場合がある。特に、複数の人が集合写真を撮る際に、「目を閉じている人がいる」、「レンズを見ていない人がいる」などの眼部状態が理想的ではないという問題がより発生しやすく、ひいては、繰り返して再撮影する場合があり、ユーザーの撮影エクスペリエンスに影響を与える。

【0004】

現在、一般的に、ユーザーは、繰り返して撮影することで得られた複数枚の写真に基づいて、最終的な集合写真として、ほとんどの人の眼部状態が理想的な写真を手動で選択する。選択された集合写真において、人の眼部状態が理想的ではないという問題がある程度存在するため、今回の撮影中の全ての人の最適な眼部状態を集合写真において表現することができない。従って、最終的な集合写真に対するユーザーの満足度をある程度低減させる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記の技術問題又はその少なくとも一部を解决するために、本開示は、集合写真における全ての人の眼部状態効果を改善することができ、集合写真の品質を保証して、最終的な集合写真に対するユーザーの満足度を高めた、眼部状態検出による画像処理方法、装置、機器及び記憶媒体を提供する。

【課題を解決するための手段】

【0006】

第１の態様によれば、本開示は、眼部状態検出による画像処理方法を提供し、前記方法は、
処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得するステップであって、前記処理対象となる画像セットには、連続する複数フレームの画像が含まれ、前記複数フレームの画像のそれぞれは少なくとも１つの顔を含むステップと、
前記眼部状態が所定の条件を満たしたターゲット領域画像に基づいて、前記ターゲット顔に対応するターゲット効果画像を決定するステップと、
前記ターゲット顔に対応するターゲット効果画像を前記処理対象となる画像セットにおける基準画像上に合成して、前記処理対象となる画像セットに対応するターゲット画像を取得するステップと、を含む。

【0007】

好適な実施形態において、前記所定の条件は、眼の開閉程度値が所定の開閉閾値より大きいことを含む。

【0008】

好適な実施形態において、前記処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得するステップは、
処理対象となる画像セットからターゲット顔の顔画像を決定するステップと、
前記ターゲット顔の顔画像に対して眼部状態検出を行って、前記ターゲット顔の顔画像のうち、眼部状態が所定の条件を満たした顔画像を、ターゲット領域画像として取得するステップと、を含む。

【0009】

好適な実施形態において、前記ターゲット顔の顔画像に対して眼部状態検出を行うステップは、
前記ターゲット顔の顔画像から前記ターゲット顔の眼画像を抽出するステップと、
前記ターゲット顔の眼画像に対して眼部状態検出を行うステップと、を含む。

【0010】

好適な実施形態において、前記処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得するステップは、
処理対象となる画像セットからターゲット顔の眼画像を決定するステップと、
前記ターゲット顔の眼画像に対して眼部状態検出を行って、前記ターゲット顔の眼画像のうち、眼部状態が所定の条件を満たした眼画像を、ターゲット領域画像として取得するステップと、を含む。

【0011】

好適な実施形態において、前記ターゲット顔の眼画像に対して眼部状態検出を行うステップは、
前記ターゲット顔の眼画像における眼キーポイントの位置情報を決定するステップと、
前記眼キーポイントの位置情報に基づいて、前記眼画像に対応する眼部状態を決定するステップと、を含む。

【0012】

好適な実施形態において、前記ターゲット顔の眼画像における眼キーポイントの位置情報を決定するステップは、
前記ターゲット顔の眼画像を第１のモデルに入力して、前記眼画像における眼キーポイントの位置情報を取得するステップであって、前記第１のモデルは、眼キーポイントの位置情報がマーキングされた眼画像サンプルに基づいて訓練することで得られるステップを含む。

【0013】

好適な実施形態において、前記ターゲット顔の眼画像に対して眼部状態検出を行うステップは、
前記ターゲット顔の眼画像における眼状態値を決定するステップであって、前記眼状態値は、開状態値及び閉状態値を含むステップと、
前記眼状態値に基づいて、前記眼画像に対応する眼部状態を決定するステップと、を含む。

【0014】

好適な実施形態において、前記ターゲット顔の眼画像における眼状態値を決定するステップは、
前記ターゲット顔の眼画像を第２のモデルに入力して、前記眼画像における眼状態値を取得するステップであって、前記第２のモデルは、眼状態値がマーキングされた眼画像サンプルに基づいて訓練することで得られるステップを含む。

【0015】

好適な実施形態において、前記眼画像に対応する眼部状態は、眼の垂直方向の開け幅と水平方向の２つの目じりの距離との比に基づいて決定され、前記眼の垂直方向の開け幅と水平方向の２つの目じりの距離との比は、前記眼キーポイントの位置情報に基づいて決定される。

【0016】

好適な実施形態において、前記処理対象となる画像セットにおけるターゲット顔の眼部状態を検出するステップの前に、さらに、
シャッターボタンに対するトリガー操作に応じて、現在の画像フレームを含みかつ前記現在の画像フレームを終了フレームとする、連続する複数フレームのプレビュー画像を、処理対象となる画像セットとして取得するステップを含む。

【0017】

好適な実施形態において、前記ターゲット顔に対応するターゲット効果画像を前記処理対象となる画像セットにおける基準画像上に合成して、前記処理対象となる画像セットに対応するターゲット画像を取得するステップの前に、さらに、
前記処理対象となる画像セットにおける、シャッターボタンの押しに対応する現在の画像フレームを、基準画像として決定するステップを含む。

【0018】

好適な実施形態において、前記眼部状態が所定の条件を満たしたターゲット領域画像に基づいて、前記ターゲット顔に対応するターゲット効果画像を決定するステップは、
前記ターゲット顔の眼部状態が所定の条件を満たしたターゲット領域画像における、眼の開閉程度値が最大であるターゲット領域画像を、前記ターゲット顔に対応するターゲット効果画像として決定するステップを含む。

【0019】

好適な実施形態において、前記処理対象となる画像セットからターゲット顔の顔画像を決定するステップは、
処理対象となる画像セットにおける基準画像に対して顔検出を行って、前記基準画像での各顔の位置情報を決定するステップと、
前記顔の位置情報に基づいて、前記処理対象となる画像セットにおける画像上の、前記各顔のうちのターゲット顔の位置情報に対応する顔画像を、前記ターゲット顔の顔画像として決定するステップと、を含む。

【0020】

好適な実施形態において、前記処理対象となる画像セットからターゲット顔の顔画像を決定するステップは、
処理対象となる画像セットにおける画像ごとに顔検出を行って、顔画像を取得するステップと、
類似度が所定の類似閾値より大きい顔画像を、ターゲット顔の顔画像として決定するステップと、を含む。

【0021】

第２の態様によれば、本開示は、眼部状態検出による画像処理装置を提供し、前記装置は、
処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得する第１の検出モジュールであって、前記処理対象となる画像セットには、連続する複数フレームの画像が含まれ、前記複数フレームの画像のそれぞれは少なくとも１つの顔を含む第１の検出モジュールと、
前記眼部状態が所定の条件を満たしたターゲット領域画像に基づいて、前記ターゲット顔に対応するターゲット効果画像を決定する第１の決定モジュールと、
前記ターゲット顔に対応するターゲット効果画像を前記処理対象となる画像セットにおける基準画像上に合成して、前記処理対象となる画像セットに対応するターゲット画像を取得する合成モジュールと、を含む。

【0022】

第３の態様によれば、本開示は、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体には指令が記憶され、前記指令が端末機器で実行するとき、前記端末機器に上記の方法を実現させる。

【0023】

第４の態様によれば、本開示は、機器を提供し、メモリと、プロセッサーと、前記メモリに記憶されて前記プロセッサーで実行可能なコンピュータプログラムとを含み、前記プロセッサーは、前記コンピュータプログラムを実行するとき、上記の方法を実現する。

【発明の効果】

【0024】

従来技術に比べると、本開示によって提供される技術案は、以下の利点を備え、即ち、
本開示は、眼部状態検出による画像処理方法を提供し、まず、処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得してから、眼部状態が所定の条件を満たしたターゲット領域画像から、当該ターゲット顔に対応するターゲット効果画像を決定し、最後に、当該ターゲット効果画像を処理対象となる画像セットにおける基準画像上に合成して、処理対象となる画像セットに対応するターゲット画像を取得する。本開示において、眼部状態を検出して、各顔のターゲット効果画像を決定してから、各顔のターゲット効果画像を基準画像上に合成することで、最終的に得られたターゲット画像における全ての人の眼部状態効果を向上させ、ターゲット画像の品質を高め、ターゲット画像に対するユーザーの満足度をある程度高めることができる。

【図面の簡単な説明】

【0025】

ここで、図面は、明細書に組み込まれ、本明細書の一部を構成し、本開示に適合する実施例を示し、明細書とともに本開示の原理を解釈するためのものである。
本開示の実施例又は従来技術の技術案をより明らかに説明するために、以下、実施例又は従来技術の記載に使用される必要がある図面を簡単に紹介し、明らかに、当業者にとって、進歩性に値する労働をしない前提の下で、これらの図面に基づいて他の図面を取得することができる。

【図1】本開示の実施例による、眼部状態検出による画像処理方法のフローチャートである。

【図2】本開示の実施例による眼画像抽出の概略図である。

【図3】本開示の実施例による眼画像における眼キーポイントの概略図である。

【図4】本開示の実施例による別の眼部状態検出による画像処理方法のフローチャートである。

【図5】本開示の実施例による眼部状態検出による画像処理装置の構成ブロック図である。

【図6】本開示の実施例による眼部状態検出による画像処理機器の構成ブロック図である。

【発明を実施するための形態】

【0026】

本開示の上記の目的、特徴及び利点をより明らかに理解するために、以下、本開示の解決策をさらに説明する。なお、矛盾しない場合、本開示の実施例及び実施例における特徴を互いに組み合わせてもよい。

【0027】

本開示を十分に理解しやすいために、以下の記載において、多くの具体的な細部を記載するが、本開示は、本明細書の記載とは異なっている形態で実施されてもよく、明らかに、明細書における実施例は全ての実施例ではなく、本開示の一部の実施例のみである。

【0028】

画像（例えば、集合写真）における人の眼部状態は、画質を評価する要因である。画像が集合写真であることを例として、実際の撮影シーンにおいて、今回の撮影中の全ての人の最適な眼部状態を集合写真において表現するために、複数回の再撮影を繰り返すように、複数枚の集合写真を撮ってから、複数枚の集合写真から理想的な集合写真を手動で選択する。

【0029】

上記の複数回の再撮影を繰り返すという方式は、人々の撮影エクスペリエンスを低減させるだけでなく、再撮影された集合写真において全ての人の眼部状態が理想的であることを保証することができず、集合写真に対するユーザーの満足度に影響を与える。

【0030】

そこで、本開示は、眼部状態検出による画像処理方法を提供し、まず、処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得してから、当該眼部状態が所定の条件を満たしたターゲット領域画像から、当該ターゲット顔に対応するターゲット効果画像を決定し、最後に、当該ターゲット効果画像を処理対象となる画像セットにおける基準画像上に合成して、処理対象となる画像セットに対応するターゲット画像を取得する。

【0031】

上記の撮影シーンに基づいて、本開示の実施例によって提供される眼部状態検出による画像処理方法は、集合写真を撮った後、集合写真における人の眼部状態を検出して、集合写真における各顔のターゲット効果画像を決定してから、当該各顔のターゲット効果画像を元の集合写真上に合成することで、最終的な集合写真における全ての人の眼部状態効果をよりよくし、集合写真の品質を向上させ、集合写真に対するユーザーの満足度を高める。

【0032】

これに基づいて、本開示の実施例は、眼部状態検出による画像処理方法を提供し、図１を参照して、本開示の実施例による眼部状態検出による画像処理方法のフローチャートであり、当該方法は以下のステップを含む。
ステップＳ１０１：処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得する。

【0033】

当該所定の条件は、眼の開閉程度値が所定の開閉閾値より大きいことを含み、前記処理対象となる画像セットには、連続する複数フレームの画像が含まれ、前記複数フレームの画像のそれぞれは少なくとも１つの顔を含む。

【0034】

好適な実施形態において、写真を撮影するシーンにおいて、シャッターボタンに対するトリガー操作（例えばシャッターボタンを押す操作）が検出された場合、現在の画像フレームを含みかつ現在の画像フレームを終了フレームとする、連続する複数フレームのプレビュー画像を、連続する複数フレームの画像として取得して、本開示の実施例における処理対象となる画像セットを取得する。

【0035】

実際の応用において、カメラのプレビューモードでは、カメラのプレビューインターフェースにおけるプレビュー画像は、ｐｒｅｖｉｅｗプレビューストリームという形態で記憶される。本開示の実施例において、カメラのプレビューモードでは、シャッターボタンが押されたことを検出した場合、現在の画像フレーム、即ち、カメラによって撮られた写真だけではなく、記憶されたｐｒｅｖｉｅｗプレビューストリームのプレビューピクチャから、最新のＮフレームのプレビュー画像を取得する。そして、当該最新のＮフレームのプレビュー画像を現在の画像フレームと共に処理対象となる画像セットとして構成する。一般的に、処理対象となる画像セットには８フレームの画像又は１６フレームの画像が含まれ、本開示の実施例は、処理対象となる画像セットにおける画像の数を限定していない。別のいくつかの実施例において、処理対象となる画像セットには、より多くのフレームの画像が含まれてもよい。

【0036】

別の好適な実施形態において、写真を撮影するシーンにおいて、現在モードが連続撮影モードである場合、シャッターボタン押しというトリガー操作を検出した場合、連続する複数フレームの画像として、連続撮影による複数フレームの画像を取得し、さらに、本開示の実施例における処理対象となる画像セットを取得する。

【0037】

本開示の実施例において、処理対象となる画像セットを取得した後、処理対象となる画像セットにおけるターゲット顔の眼部状態を検出する。ターゲット顔は、処理対象となる画像セットにおける画像上の、複数の顔のうちの同一人物に対応する顔である。

【0038】

好適な実施形態において、処理対象となる画像セットにおけるターゲット顔の眼部状態を検出するステップは、処理対象となる画像セットからターゲット顔の顔画像を決定してから、当該ターゲット顔の顔画像に対して眼部状態検出を行って、当該ターゲット顔の顔画像のうち、眼部状態が所定の条件を満たした顔画像をターゲット領域画像として取得するステップを含む。

【0039】

本開示の実施例は、処理対象となる画像セットからターゲット顔の顔画像を決定する次の２つの方法を少なくとも提供し、以下にそれぞれ紹介し、
好適な実施形態において、処理対象となる画像セットにおける基準画像に対して顔検出を行って、基準画像上の各顔の位置情報を決定する。そして、各顔の位置情報に基づいて、処理対象となる画像セットにおける画像上の、当該各顔におけるターゲット顔の位置情報に対応する顔画像を、当該ターゲット顔の顔画像として決定する。

【0040】

実際の応用において、１回の撮影中に、シャッターボタン押しに対応する現在の画像フレームは一般的に、今回の撮影では、ほとんどの人の眼部状態がよい画像である。従って、本開示の実施例は、処理対象となる画像セットにおける、シャッターボタン押しに対応する現在の画像フレームを基準画像として決定することができる。このように、当該基準画像に基づいて、各顔の位置情報を決定してから、当該各顔の位置情報に基づいて、ターゲット顔に対応する顔画像をさらに決定し、当該ターゲット顔に対応する顔画像の正確さを向上させることができる。

【0041】

本開示の実施例において、処理対象となる画像セットにおける基準画像を決定した後、機械学習モデルに基づいて基準画像に対して顔検出を行うことで、基準画像上の各顔の位置情報を決定することができる。１回の撮影中に、連続的に撮られた複数フレームの画像上の各顔の位置情報は基本的に同じであるため、基準画像上の決定された各顔の位置情報に基づいて、処理対象となる画像セットにおける他の画像上のターゲット顔に対応する顔画像をさらに決定することができる。ここで、処理対象となる画像セットにおいて、各画像上の同一位置での顔画像は、同一人物の顔画像に属する。

【0042】

ターゲット顔の顔画像は、当該ターゲット顔を含む最小矩形領域であってもよい。当該ターゲット顔を含む最小矩形領域は、ターゲット顔の位置情報に基づいて決定される。

【0043】

別の好適な実施形態において、顔検出及び類似度計算の方法を組み合わせて、処理対象となる画像セットからターゲット顔の顔画像を決定してもよい。具体的に、処理対象となる画像セットにおける各画像に対して顔検出を行って、顔画像を取得する。そして、類似度が所定の類似閾値より大きい顔画像を、ターゲット顔の顔画像として決定する。

【0044】

実際の応用において、ターゲット顔の顔画像の類似度が高いため、本開示の実施例において、処理対象となる画像セットにおける各画像上の顔画像を決定した後、顔画像の類似度に基づいてターゲット顔の顔画像を決定することができる。具体的に、類似度が所定の類似閾値より大きい顔画像を、ターゲット顔の顔画像として決定する。

【0045】

本開示の実施例において、顔画像に対して眼部状態検出を行う過程では、まず、顔画像から眼画像を抽出してから、眼画像に対して眼部状態検出を行って、対応する顔画像の眼部状態検出を完了する。本開示の実施例は、眼画像に対して眼部状態検出を行う方法を提供し、以降、説明する。

【0046】

別の好適な実施形態において、処理対象となる画像セットにおけるターゲット顔の眼部状態を検出する過程では、処理対象となる画像セットからターゲット顔の眼画像を決定した後、ターゲット顔の眼画像に対して眼部状態検出を行って、ターゲット顔の眼画像のうち、眼部状態が所定の条件を満たした眼画像を、ターゲット領域画像として取得することができる。

【0047】

実際の応用において、機械学習モデルにより処理対象となる画像セットにおける基準画像に対して眼検出を行うことで、基準画像上の眼の位置情報を決定することができる。そして、基準画像上で決定された眼の位置情報に基づいて、処理対象となる画像セットにおける各画像上の眼に対応する眼画像をさらに決定することができる。ここで、処理対象となる画像セットにおける各画像での同一位置の眼画像は、同一人物の眼画像に属する。

【0048】

眼画像は、眼の最小矩形領域を含む。具体的に、眼画像は、左眼を含む最小矩形領域であってもよく、右眼を含む最小矩形領域であってもよく、さらに、左眼及び右眼を同時に含む最小矩形領域であってもよい。

【0049】

別の好適な実施形態において、眼検出及び類似度計算の方法を組み合わせて、処理対象となる画像セットからターゲット顔の眼画像を決定してもよい。具体的に、処理対象となる画像セットにおける各画像に対して眼検出を行って、眼画像を取得する。そして、類似度が所定の類似閾値より大きい眼画像を、ターゲット顔の眼画像として決定する。

【0050】

本開示の実施例において、処理対象となる画像セットにおけるターゲット顔の眼部状態を検出した後、各顔の眼部状態が所定の条件を満たしたターゲット領域画像を取得する。ターゲット領域画像は、顔画像であってもよいし、眼画像であってもよい。

【0051】

本開示の実施例において、眼画像における眼キーポイントの位置情報又は眼状態値、或いは眼キーポイントの位置情報と眼状態値との組み合わせに基づいて、当該眼画像に対応する眼部状態を決定してもよい。本開示の実施例は、眼画像に対応する眼部状態を決定する具体的な実現形態を提供し、以降、紹介する。

【0052】

ステップＳ１０２：前記眼部状態が所定の条件を満たしたターゲット領域画像に基づいて、前記ターゲット顔に対応するターゲット効果画像を決定する。

【0053】

実際の応用において、理想的な写真において、全ての人の眼部状態は、一般的に開状態であり、また、眼が開く程度は、一定の標準に合うべきである。そこで、本開示の実施例において、まず、ターゲット顔の眼部状態が所定の条件を満たしたターゲット領域画像を決定し、その後、決定されたターゲット領域画像に基づいて、各顔に対応するターゲット効果画像をさらに決定する。眼部状態が所定の条件を満たすことは、眼の開閉程度値が所定の開閉閾値より大きいことを意味する。

【0054】

好適な実施形態において、ターゲット顔のターゲット領域画像における、眼の開閉程度値が最大であるターゲット領域画像を、当該ターゲット顔に対応するターゲット効果画像として決定することで、ターゲット画像における各顔の眼の開閉度を向上させ、さらに、ターゲット画像に対するユーザーの満足度を高めることができる。

【0055】

別の好適な実施形態において、ターゲット顔のターゲット領域画像のうちの何れか１枚のターゲット領域画像を、当該ターゲット顔に対応するターゲット効果画像として決定することで、ターゲット画像における顔の眼部状態効果に対するユーザーの基本的な要求を満たすことができる。

【0056】

好適な実施形態において、基準画像上のある顔（例えば、一人目の顔）の眼部状態が所定の条件を満たしていると決定した場合、当該一人目の顔に対して合成を行わず、画像処理の効率を向上させることができる。

【0057】

ステップＳ１０３：前記ターゲット顔に対応するターゲット効果画像を前記処理対象となる画像セットにおける基準画像上に合成して、前記処理対象となる画像セットに対応するターゲット画像を取得する。

【0058】

本開示の実施例において、各顔に対応するターゲット効果画像を決定した後、当該ターゲット効果画像を処理対象となる画像セットにおける基準画像上に合成して、処理対象となる画像セットに対応するターゲット画像を取得する。

【0059】

ターゲット画像はターゲット効果画像に基づいて得られるため、ターゲット画像は、画像上の全ての人の眼部状態の効果を最大限に向上させることができ、それにより、ターゲット画像の品質を高め、ターゲット画像に対するユーザーの満足度をある程度向上させる。

【0060】

好適な実施形態において、各顔に対応するターゲット効果画像は、位置情報を有し、当該ターゲット効果画像の位置情報に基づいて、当該ターゲット効果画像を基準画像上の対応位置に合成する。

【0061】

なお、本開示の実施において、処理対象となる画像セットにおける何れか１枚の画像を基準画像として決定してもよい。本開示の実施例は、基準画像の決定方式を具体的に限定するものではなく、当業者は実際ニーズに応じて選択すればよい。

【0062】

本開示の実施例によって提供される眼部状態検出による画像処理方法において、まず、処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得し、その後、眼部状態が所定の条件を満たしたターゲット領域画像から、当該ターゲット顔に対応するターゲット効果画像を決定し、最終的に、当該ターゲット効果画像を処理対象となる画像セットにおける基準画像上に合成し、処理対象となる画像セットに対応するターゲット画像を取得する。本開示の実施例において、眼部状態を検出し、各顔のターゲット効果画像を決定し、その後、各顔のターゲット効果画像を基準画像上に合成することで、ターゲット画像における全ての人の眼部状態効果を向上させ、ターゲット画像の品質を高め、ターゲット画像に対するユーザーの満足度をある程度向上させることができる。

【0063】

本開示の実施例によって提供される眼部状態検出による画像処理方法において、眼キーポイントの位置情報に基づいて、眼画像に対応する眼部状態を決定することができる。

【0064】

好適な実施形態において、図２に示すように、８フレームの顔画像から、対応する眼画像を抽出する。そして、眼画像ごとに、当該眼画像における眼キーポイントの位置情報を決定し、次に、眼キーポイントの位置情報に基づいて、当該眼画像に対応する眼部状態を決定する。一実現形態において、当該ターゲット顔の眼画像に対応する眼部状態を、当該ターゲット顔に対応する顔画像の眼部状態とし、ここで、眼の開閉程度値で眼部状態を示すことができる。

【0065】

図３に示すように、眼キーポイントはそれぞれ、眼部の左目じりキーポイント１、上眼瞼でのキーポイント２及び３、右目じりキーポイント４、下眼瞼でのキーポイント５及び６であってもよい。上記の６つの眼キーポイントを決定した後、各眼キーポイントの位置情報に基づいて眼の開閉程度値を決定する。

【0066】

好適な実施形態において、図３におけるキーポイント１からキーポイント４までの間の距離を水平方向の２つの目じりの距離とし、キーポイント２からキーポイント６までの間の距離とキーポイント３からキーポイント５までの距離との平均値を、眼の垂直方向の開け幅とすることができる。そして、眼の垂直方向の開け幅と、水平方向の２つの目じりの距離との比を、眼の開閉程度値として決定する。

【0067】

好適な実施形態において、機械学習モデルを使用して眼キーポイントの位置情報を決定することができる。具体的に、眼キーポイントの位置情報がマーキングされた眼画像サンプルを使用して第１のモデルを訓練し、眼画像を訓練後の第１のモデルに入力し、第１のモデルによって処理された後、当該眼画像における眼キーポイントの位置情報を出力する。

【0068】

また、本開示の実施例によって提供される眼部状態検出による画像処理方法において、眼状態値に基づいて、眼画像に対応する眼部状態を決定してもよい。眼状態値は、開状態値及び閉状態値を含む。具体的に、眼状態値は［０，１］範囲内の数値であってもよく、眼状態値の数値が大きいほど、眼部開閉程度値が大きくなることを示し、逆に、眼状態値が小さいほど、眼部開閉程度値が小さくなることを示す。具体的に、閉状態値は［０、０.５］範囲内の数値であってもよく、開状態値は［０.５，１］範囲内の数値であってもよく、他のいくつかの実施例において、閉状態値は［０，０.５］範囲内の数値であってもよく、開状態値は［０.５，１］範囲内の数値であってもよい。

【0069】

好適な実施形態において、機械学習モデルを使用して眼状態値を決定することができる。具体的に、眼状態値がマーキングされた眼画像サンプルを使用して第２のモデルを訓練し、眼画像を訓練後の第２のモデルに入力し、第２のモデルによって処理された後、当該眼画像の眼状態値を出力する。

【0070】

本開示の実施例において、眼状態値によって眼画像に対応する眼部状態を決定し、ターゲット顔の眼状態値が最大であるターゲット領域画像をターゲット効果画像にとして決定する。

【0071】

眼部状態検出の正確率を向上させるために、本開示の実施例は、眼キーポイントの位置情報及び眼状態値を組み合わせて、顔画像に対応する眼の開閉程度値を決定することで、眼の開閉程度値に基づいて決定されたターゲット効果画像の正確率を向上させ、さらに、ターゲット画像の品質を高めることできる。

【0072】

本開示の実施例は、眼部状態検出による画像処理方法を提供し、図４を参照して、本開示の実施例によって提供される別の眼部状態検出による画像処理方法のフローチャートであり、当該方法は、以下のステップを含む。
ステップＳ４０１：処理対象となる画像セットに基づいて、ターゲット顔に属する顔画像を決定する。

【0073】

前記処理対象となる画像セットは、シャッターボタン押しに対応する現在の画像フレームを終了フレームとする、連続する複数フレームのプレビュー画像を含む。

【0074】

本開示の実施例におけるステップＳ４０１について、上記の実施例の記載を参照して理解すればよく、ここで必要以上に説明することはしない。

【0075】

ステップＳ４０２：前記ターゲット顔画像から眼画像を抽出する。

【0076】

図２を参照して、ターゲット顔に属する顔画像を決定した後、決定されたターゲット顔の顔画像に基づいて、ターゲット顔に属する眼画像を抽出する。

【0077】

好適な実施形態において、顔画像に対して眼部を検出し、顔画像における眼部の位置情報を決定し、その後、眼部の位置情報に基づいて、眼部が含まれる矩形枠領域を決定し、当該矩形枠領域を顔画像から抽出する。当該抽出された矩形領域に対応する画像を眼画像とする。眼部検出の方式について必要以上に説明することはしない。

【0078】

実際の応用において、顔画像上の両眼の眼部状態は基本的に同じであると考えられるため、本開示の実施例において抽出された眼画像は、顔画像における一方の目のみを含んでもよく、これにより、画像処理の効率を向上させる。

【0079】

ステップＳ４０３：前記眼画像における眼状態値及び眼キーポイントの位置情報を決定する。

【0080】

本開示の実施例において、眼画像を抽出した後、眼画像における眼状態値及び眼キーポイントの位置情報を決定する。

【0081】

好適な実施形態において、機械学習モデルにより眼状態値及び眼キーポイントの位置情報を決定することができる。具体的に、眼キーポイントの位置情報及び眼状態値がマーキングされた眼画像サンプルを使用して、第３のモデルを訓練し、眼画像を訓練後の第３のモデルに入力し、第３のモデルによって処理された後、当該眼画像の眼状態値及び眼キーポイントの位置情報を出力する。

【0082】

ステップＳ４０４：前記眼状態値及び前記眼キーポイントの位置情報に基づいて、前記顔画像に対応する眼の開閉程度値を決定する。

【0083】

本開示の実施例において、前記眼画像における眼状態値及び眼キーポイントの位置情報を決定した後、前記眼キーポイントの位置情報に基づいて、前記顔画像での眼の垂直方向の開け幅と、水平方向の２つの目じりの距離との比を決定する。そして、前記眼の垂直方向の開け幅と、水平方向の２つの目じりの距離との比、及び前記眼状態値を組み合わせて、前記顔画像に対応する眼の開閉程度値を決定する。

【0084】

好適な実施形態において、図３を参照して、式（１）によって顔画像に対応する眼の開閉程度値を計算し、式（１）は次のようになる。

【数1】

ここで、Ｏｐｅｎ＿Ｄｅｇｒｅｅ（ＯＤ）は、顔画像に対応する眼の開閉程度値を示し、Ｈ＿ｄは、図３におけるキーポイント１とキーポイント４との間のユークリッド距離を示し、Ｖ＿ｄ＿１は、図３におけるキーポイント２とキーポイント６との間のユークリッド距離を示し、Ｖ＿ｄ＿２は図３におけるキーポイント３とキーポイント５との間のユークリッド距離を示し、ｒｏｕｎｄ（）は、パラメータに対して四捨五入及び切り上げを行うことを示し、Ｅｙｅ＿Ｓｔａｔｅは眼状態値を示し、［０，１］の間にある。

【0085】

ステップＳ４０５：ターゲット顔に属する顔画像から、眼の開閉程度値が所定の開閉閾値より大きい顔画像を決定する。

【0086】

本開示の実施例において、ターゲット顔に属する顔画像を決定した後、何れか１つの顔の顔画像に対して、まず、眼の開閉程度値に基づいて、閉状態の顔画像を除去する。そして、眼の開閉程度値に基づいて、眼の開閉程度値が所定の開閉閾値以下である顔画像を除去する。眼の開閉程度値に基づいて、残りの顔画像をソートして、開閉程度値が所定の開閉閾値より大きい顔画像を決定してもよい。

【0087】

好適な実施形態において、ある顔の顔画像において、眼の開閉程度値が所定の開閉閾値より大きい顔画像が存在しなければ、基準画像における、当該顔に対応する顔画像を処理することなく、基準画像における当該顔の効果を保留してもよい。

【0088】

ステップＳ４０６：前記眼の開閉程度値が所定の開閉閾値より大きい顔画像から、前記ターゲット顔に対応するターゲット効果画像を決定する。

【0089】

本開示の実施例において、各顔の眼の開閉程度値が所定の開閉閾値より大きい顔画像を決定した後、当該方法は、ターゲット顔に対応する顔画像から、眼の開閉程度値が所定の開閉閾値より大きい１枚の顔画像をランダムに選択して、ランダムに選択された顔画像を当該ターゲット顔に対応するターゲット効果画像とすることで、ターゲット画像における当該ターゲット顔での眼部状態効果を向上させる。他の顔に対応する顔画像に対して、同様の処理を行うことで、他の顔に対応するターゲット効果画像を取得することができる。

【0090】

好適な実施形態において、眼の開閉程度値が大きいほど、目の開度が大きく、最適な眼部状態を表現できることを示す。従って、本開示の実施例において、眼の開閉程度値が所定の開閉閾値より大きい顔画像から、眼の開閉程度値が最大である顔画像を、当該ターゲット顔に対応するターゲット効果画像として選択することで、ターゲット画像における当該ターゲット顔での眼部状態の効果を最大限に向上させる。

【0091】

ステップＳ４０７：前記ターゲット顔に対応するターゲット効果画像を前記処理対象となる画像セットにおける基準画像上に合成して、前記処理対象となる画像セットに対応するターゲット画像を取得する。

【0092】

本開示の実施例において、各顔に対応するターゲット効果画像を決定した後、各ターゲット効果画像を何れも基準画像上に合成して、最終的に、処理対象となる画像セットに対応するターゲット画像を取得する。

【0093】

複数人の撮影シーンにおいて、本開示によって提供される眼部状態検出による画像処理方法に基づいて、集合写真を１回のみ撮ることで、集合写真におけるできるだけ多くの人の眼部状態の効果をよりよくすることができ、複数回の再撮影を繰り返す必要がなく、集合写真撮影に対するユーザーのエクスペリエンスを向上させ、満足度が高い集合写真をユーザーに提供することができる。

【0094】

上記の方法実施例と同一発明概念に基づいて、本開示は、眼部状態検出による画像処理装置をさらに提供し、図５を参照して、本開示の実施例によって提供される眼部状態検出による画像処理装置であり、前記装置は、
処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記眼部状態が所定の条件を満たしたターゲット領域画像を取得する第１の検出モジュール５０１であって、前記処理対象となる画像セットには、連続する複数フレームの画像が含まれ、前記複数フレームの画像のそれぞれは少なくとも１つの顔を含む第１の検出モジュール５０１と、
前記眼部状態が所定の条件を満たしたターゲット領域画像に基づいて、前記ターゲット顔に対応するターゲット効果画像を決定する第１の決定モジュール５０２と、
前記ターゲット顔に対応するターゲット効果画像を、前記処理対象となる画像セットにおける所定の基準画像上に合成して、前記処理対象となる画像セットに対応するターゲット画像を取得する合成モジュール５０３と、を含む。

【0095】

好適な実施形態において、前記所定の条件は、眼の開閉程度値が所定の開閉閾値より大きいことを含む。

【0096】

好適な実施形態において、前記第１の検出モジュールは、
処理対象となる画像セットからターゲット顔の顔画像を決定する第１の決定サブモジュールと、
前記ターゲット顔の顔画像に対して眼部状態検出を行って、前記ターゲット顔の顔画像のうち、眼部状態が所定の条件を満たした顔画像を、ターゲット領域画像として取得する第１の検出サブモジュールと、を含む。

【0097】

好適な実施形態において、前記第１の検出サブモジュールは、
前記ターゲット顔の顔画像から前記ターゲット顔の眼画像を抽出する抽出サブモジュールと、
前記ターゲット顔の眼画像に対して眼部状態検出を行う第２の検出サブモジュールと、を含む。

【0098】

好適な実施形態において、前記第１の検出モジュールは、
処理対象となる画像セットからターゲット顔の眼画像を決定する第２の決定サブモジュールと、
前記ターゲット顔の眼画像に対して眼部状態検出を行って、前記ターゲット顔の眼画像のうち、眼部状態が所定の条件を満たした眼画像を、ターゲット領域画像として取得する第３の検出サブモジュールと、を含む。

【0099】

好適な実施形態において、前記第２の検出モジュール又は前記第３の検出サブモジュールは、
前記ターゲット顔の眼画像における眼キーポイントの位置情報を決定する第３の決定サブモジュールと、
前記眼キーポイントの位置情報に基づいて、前記眼画像に対応する眼部状態を決定する第４の決定サブモジュールと、を含む。

【0100】

好適な実施形態において、前記第３の決定サブモジュールは具体的に、
前記ターゲット顔の眼画像を第１のモデルに入力して、前記眼画像における眼キーポイントの位置情報を取得し、前記第１のモデルは、眼キーポイントの位置情報がマーキングされた眼画像サンプルに基づいて訓練することで得られる。

【0101】

好適な実施形態において、前記第２の検出モジュール又は前記第３の検出サブモジュールは、
前記ターゲット顔の眼画像における眼状態値を決定する第５の決定サブモジュールであって、前記眼状態値が、開状態値及び閉状態値を含む第５の決定サブモジュールと、
前記眼状態値に基づいて、前記眼画像に対応する眼部状態を決定する第６の決定サブモジュールと、を含む。

【0102】

好適な実施形態において、前記第５の決定サブモジュールは具体的に、
前記ターゲット顔の眼画像を第２のモデルに入力して、前記眼画像における眼状態値を取得し、前記第２のモデルは、眼状態値がマーキングされた眼画像サンプルに基づいて訓練することで得られる。

【0103】

好適な実施形態において、前記眼画像に対応する眼部状態は、眼の垂直方向の開け幅と水平方向の２つの目じりの距離との比に基づいて決定され、前記眼の垂直方向の開け幅と水平方向の２つの目じりの距離との比は、前記眼キーポイントの位置情報に基づいて決定される。

【0104】

好適な実施形態において、前記装置は、
シャッターボタンに対するトリガー操作に応じて、現在の画像フレームを含みかつ前記現在画像フレームを終了フレームとする、連続する複数フレームのプレビュー画像を、処理対象となる画像セットとして取得する取得モジュールをさらに含む。

【0105】

好適な実施形態において、前記装置は、
前記処理対象となる画像セットにおける、シャッターボタンの押しに対応する現在の画像フレームを、基準画像として決定する第２の決定モジュールをさらに含む。

【0106】

好適な実施形態において、前記第１の決定モジュールは具体的に、
前記ターゲット顔の眼部状態が所定の条件を満たしたターゲット領域画像のうち、眼の開閉程度値が最大であるターゲット領域画像を、前記ターゲット顔に対応するターゲット効果画像として決定する。

【0107】

好適な実施形態において、前記第１の決定サブモジュールは、
処理対象となる画像セットにおける基準画像に対して顔検出を行って、前記基準画像での各顔の位置情報を決定する第７の決定サブモジュールと、
前記各顔の位置情報に基づいて、前記処理対象となる画像セットにおける画像上の、前記各顔のうちのターゲット顔の位置情報に対応する顔画像を、前記顔の顔画像として決定する第８の決定サブモジュールと、を含む。

【0108】

好適な実施形態において、前記第１の決定サブモジュールは、
処理対象となる画像セットにおける画像ごとにそれぞれ顔検出を行って、顔画像を取得する第４の検出サブモジュールと、
類似度が所定の類似閾値より大きい顔画像を、ターゲット顔の顔画像として決定する第９の決定サブモジュールと、を含む。

【0109】

本開示の実施例によって提供される眼部状態検出による画像処理装置において、処理対象となる画像セットにおけるターゲット顔の眼部状態を検出して、前記ターゲット顔の眼部状態が所定の条件を満たしたターゲット領域画像を取得し、眼部状態が所定の条件を満たしたターゲット領域画像から、当該顔に対応するターゲット効果画像を決定し、最後に、当該ターゲット効果画像を処理対象となる画像セットにおける基準画像上に合成して、処理対象となる画像セットに対応するターゲット画像を取得する。本開示の実施例において、眼部状態を検出し、各顔のターゲット効果画像を決定してから、各顔のターゲット効果画像を基準画像上に合成することで、最終的に得られたターゲット画像における全ての人の眼部状態効果を向上させ、ターゲット画像の品質を高め、ターゲット画像に対するユーザーの満足度をある程度高めることができる。

【0110】

また、本開示の実施例は、眼部状態検出による画像処理機器をさらに提供し、図６を参照して示すように、
プロセッサー６０１、メモリ６０２、入力装置６０３及び出力装置６０４を含むことができる。眼部状態検出による画像処理機器におけるプロセッサー６０１の数は１つ又は複数であってもよく、図６において、１つのプロセッサーを例とする。本開示のいくつかの実施例において、プロセッサー６０１、メモリ６０２、入力装置６０３及び出力装置６０４はバス又は他の方式で接続されてもよく、図６において、バスによる接続を例とする。

【0111】

メモリ６０２は、ソフトウェアプログラム及びモジュールを記憶することができ、プロセッサー６０１は、メモリ６０２に記憶されるソフトウェアプログラム及びモジュールを実行することで、眼部状態検出による画像処理機器の様々な機能アプリケーション及びデータ処理を実行することができる。メモリ６０２は主にプログラム記憶領域及びデータ記憶領域を含み、プログラム記憶領域はオペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムなどを記憶する。また、メモリ６０２は、高速ランダムアクセスメモリを含んでもよく、不揮発性メモリ、例えば少なくとも１つの磁気ディスクメモリ、フラッシュメモリ、又は他の揮発性固体メモリを含んでもよい。入力装置６０３は、入力された数字又は文字情報を受信し、眼部状態検出による画像処理機器のユーザー設定及び機能制御に関する信号入力を生成するために使用されることができる。

【0112】

具体的に、本実施例において、プロセッサー６０１は以下の指令に従って、１つ又は複数のアプリケーションプログラムのプロセスに対応する実行可能なファイルをメモリ６０２にロードして、プロセッサー６０１によって、メモリ６０２に記憶されるアプリケーションプログラムを実行することで、上記の眼部状態検出による画像処理機器の様々な機能を実現する。

【0113】

本開示の実施例は、コンピュータ可読記憶媒体をさらに提供し、前記コンピュータ可読記憶媒体には指令が記憶され、前記指令は、端末機器で実行されるとき、前記端末機器に上記の方法を実現させる。

【0114】

なお、本明細書において、「第１」及び「第２」のような関係用語は１つのエンティティ又は操作を他のエンティティ又は操作と区別するためのものであり、これらのエンティティ又は操作同士の間にはこのような実際の関係又は順序があることを要求又は暗示するとは限らない。そして、「含む」「包含」という用語又はそれらの他の任意の変形は、非排他的包含を含むことを意図し、それにより、一連の要素を含む過程、方法、品物又は機器は、それらの要素を含むだけでなく、更に明確に列挙されていない他の要素を含み、或いは、更にこのような過程、方法、品物又は機器に固有の要素を含む。これ以上限定しない限り、「○○を含む」という文で限定された要素は、当該要素を含む過程、方法、品物又は機器には更に他の同じ要素があることを排除しない。

【0115】

以上は、本開示の具体的な実施形態のみであり、これによって、当業者は、本開示を理解又は実現できる。これらの実施例に対する様々な補正は、当業者にとって自明であり、本明細書に定義された一般的な原理は、本開示の精神又は範囲から逸脱することなく、他の実施例で実現されてもよい。従って、本開示は、本明細書に記載のこれらの実施例に限定されず、本明細書が開示した原理及び新規特点と一致する最も幅広い範囲に合う。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】