特表 2023-518444 画像処理方法、装置、電子機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-05-01

(54)【発明の名称】画像処理方法、装置、電子機器及び記憶媒体

(51)【国際特許分類】

   G06T 1/00 20060101AFI20230424BHJP

   G06T 3/40 20060101ALI20230424BHJP

   G06T 5/50 20060101ALI20230424BHJP

   G06T 7/00 20170101ALI20230424BHJP

   G06V 40/16 20220101ALI20230424BHJP

【ＦＩ】

G06T1/00 340A

G06T3/40 710

G06T5/50

G06T7/00 660A

G06V40/16 Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022556185

(86)(22)【出願日】2020-12-24

(85)【翻訳文提出日】2022-09-16

(86)【国際出願番号】 CN2020139133

(87)【国際公開番号】W WO2021253783

(87)【国際公開日】2021-12-23

(31)【優先権主張番号】202010567699.5

(32)【優先日】2020-06-19

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ブルートゥース

(71)【出願人】

【識別番号】520230293

【氏名又は名称】北京達佳互▲れん▼信息技術有限公司

(74)【代理人】

【識別番号】100101340

【弁理士】

【氏名又は名称】丸山 英一

(74)【代理人】

【識別番号】100205730

【弁理士】

【氏名又は名称】丸山 重輝

(74)【代理人】

【識別番号】100213551

【弁理士】

【氏名又は名称】丸山 智貴

(72)【発明者】

【氏名】リウ，イーチョウ

(72)【発明者】

【氏名】ヤン，ティンチャオ

【テーマコード（参考）】

5B057

5L096

【Ｆターム（参考）】

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CD09

5B057CE17

5B057DA08

5B057DB02

5B057DB06

5B057DB09

5B057DC40

5L096AA02

5L096AA06

5L096EA39

5L096FA32

5L096GA19

5L096GA51

5L096HA11

(57)【要約】

本開示は、画像処理方法、装置、電子機器及び記憶媒体に関し、前記方法は、第１の顔マスクグラフに基づいて、ターゲット画像内の第１の顔領域を取得するステップと、第１の顔領域の外に予め設定されたグレースケールの色を充填して、サンプリングされる画像を生成するステップと、サンプリングされる画像に対してダウンサンプリングを行い、予め設定されたグレースケールの色のサンプリング結果を除去して、残りのサンプリング結果を取得するステップと、残りのサンプリング結果の色平均値を計算し、予め設定された基準顔色と平均値を重み付け加算して、ターゲット色を取得するステップと、ターゲット色に基づいてターゲット画像の顔領域内のピクセルをレンダリングするステップとを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

ターゲット画像に髪が含まれていない第１の顔マスクグラフを決定し、前記第１の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれていない第１の顔領域を取得するステップと、
前記第１の顔領域の外に予め設定されたグレースケールの色を充填して、予め設定された形状のサンプリングされる画像を生成するステップと、
前記サンプリングされる画像に対してダウンサンプリングを行い、サンプリング結果のうち、前記予め設定されたグレースケールの色のサンプリング結果を除去して、残りのサンプリング結果を取得するステップと、
前記残りのサンプリング結果の色平均値を計算し、予め設定された基準顔色と前記平均値を重み付け加算して、ターゲット色を取得するステップと、
前記ターゲット色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングするステップと、を含む、
ことを特徴とする画像処理方法。

【請求項2】

前記残りのサンプリング結果の色平均値を計算し、予め設定された基準顔色と前記平均値を重み付け加算して、ターゲット色を取得するステップは、
各残りのサンプリング結果の同じ色チャネルの色値の平均値を計算して、各前記色チャネルに対応する色平均値を取得するステップと、
各前記色チャネルに対応する色平均値を、それぞれ基準顔色のうち対応する色チャネルの色と重み付け加算して、各前記色チャネルのターゲット色を取得するステップと、を含む、
ことを特徴とする請求項１に記載の画像処理方法。

【請求項3】

前記残りのサンプリング結果の色平均値を計算し、予め設定された基準顔色と前記平均値を重み付け加算して、ターゲット色を取得するステップは、
各残りのサンプリング結果の色平均値を計算するステップと、
前記平均値と予め設定された色閾値の差を計算するステップと、
前記差が予め設定された差閾値より小さいことに基づいて、第１の予め設定された重みで予め設定された基準顔色を重み付けし、第２の予め設定された重みで前記平均値を重み付けし、重み付け和を計算して、ターゲット色を取得するステップであって、前記第１の予め設定された重みは、前記第２の予め設定された重みよりも小さいステップと、
前記差が予め設定された差閾値より大きいことに基づいて、前記第１の予め設定された重みを増やし、及び／又は前記第２の予め設定された重みを減らし、増やされた第１の予め設定された重みで予め設定された基準顔色を重み付けし、減らされた第２の予め設定された重みで前記平均値を重み付けし、重み付け和を計算して、ターゲット色を取得するステップと、を含む、
ことを特徴とする請求項１に記載の画像処理方法。

【請求項4】

前記ターゲット色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングするステップは、
前記第１の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれていない第１の顔領域を決定するステップと、
前記ターゲット色に基づいて、前記第１の顔領域内のピクセルをレンダリングするステップと、を含む、
ことを特徴とする請求項１に記載の画像処理方法。

【請求項5】

前記ターゲット色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングするステップは、
前記ターゲット画像の顔キーポイントを取得し、前記顔キーポイントに基づいて髪が含まれる第２の顔マスクグラフを決定するステップと、
前記第２の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれる第２の顔領域を決定するステップと、
前記ターゲット色に基づいて、前記第２の顔領域内のピクセルをレンダリングするステップと、を含む、
ことを特徴とする請求項１に記載の画像処理方法。

【請求項6】

前記ターゲット画像は、連続するマルチフレーム画像のｋ番目のフレーム画像であり、ｋは１より大きい整数であり、
前記ターゲット色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングするステップは、
前記ｋ番目のフレーム画像の前のフレーム画像のターゲット色を取得するステップと、
前記ｋ番目のフレーム画像のターゲット色と前記ｋ番目のフレーム画像の前のフレーム画像のターゲット色を重み付け加算するステップと、
重み付け加算された色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングするステップと、を含む、
ことを特徴とする請求項１～５のいずれかに記載の画像処理方法。

【請求項7】

ターゲット画像に髪が含まれていない第１の顔マスクグラフを決定し、前記第１の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれていない第１の顔領域を取得する第１の顔決定モジュールと、
前記第１の顔領域の外に予め設定されたグレースケールの色を充填して、予め設定された形状のサンプリングされる画像を生成する画像生成モジュールと、
前記サンプリングされる画像に対してダウンサンプリングを行い、サンプリング結果のうち、予め設定されたグレースケールの色のサンプリング結果を除去して、残りのサンプリング結果を取得するダウンサンプリングモジュールと、
前記残りのサンプリング結果の色平均値を計算し、予め設定された基準顔色と前記平均値を重み付け加算して、ターゲット色を取得する計算モジュールと、
前記ターゲット色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングするレンダリングモジュールと、を含む、
ことを特徴とする画像処理装置。

【請求項8】

前記計算モジュールは、
各残りのサンプリング結果の同じ色チャネルの色値の平均値を計算して、各前記色チャネルに対応する色平均値を取得する第１の平均値サブモジュールと、
各前記色チャネルに対応する色平均値を、それぞれ基準顔色のうち対応する色チャネルの色と重み付け加算して、各前記色チャネルのターゲット色を取得する第１の重み付けサブモジュールと、を含む、
ことを特徴とする請求項７に記載の画像処理装置。

【請求項9】

前記計算モジュールは、
各残りのサンプリング結果の色平均値を計算する第２の平均値サブモジュールと、
前記平均値と予め設定された色閾値の差を計算する差計算サブモジュールと、
前記差が予め設定された差閾値より小さいことに基づいて、第１の予め設定された重みで予め設定された基準顔色を重み付けし、第２の予め設定された重みで前記平均値を重み付けし、重み付け和を計算して、ターゲット色を取得する第２の重み付けサブモジュールであって、前記第１の予め設定された重みは、前記第２の予め設定された重みよりも小さい第２の重み付けサブモジュールと、
前記差が予め設定された差閾値より大きいことに基づいて、前記第１の予め設定された重みを増やし、及び／又は前記第２の予め設定された重みを減らし、増やされた第１の予め設定された重みで予め設定された基準顔色を重み付けし、減らされた第２の予め設定された重みで前記平均値を重み付けし、重み付け和を計算して、ターゲット色を取得する第３の重み付けサブモジュールと、を含む、
ことを特徴とする請求項７に記載の画像処理装置。

【請求項10】

前記レンダリングモジュールは、
前記第１の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれていない第１の顔領域を決定する第１の領域決定サブモジュールと、
前記ターゲット色に基づいて、前記第１の顔領域内のピクセルをレンダリングする第１のレンダリングサブモジュールと、を含む、
ことを特徴とする請求項７に記載の画像処理装置。

【請求項11】

前記レンダリングモジュールは、
前記ターゲット画像の顔キーポイントを取得し、前記顔キーポイントに基づいて髪が含まれる第２の顔マスクグラフを決定するマスク決定サブモジュールと、
前記第２の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれる第２の顔領域を決定する第２の領域決定サブモジュールと、
前記ターゲット色に基づいて、前記第２の顔領域内のピクセルをレンダリングする第２のレンダリングサブモジュールと、を含む、
ことを特徴とする請求項７に記載の画像処理装置。

【請求項12】

前記ターゲット画像は、連続するマルチフレーム画像のｋ番目のフレーム画像であり、ｋは１より大きい整数であり、
前記レンダリングモジュールは、
前記ｋ番目のフレーム画像の前のフレーム画像のターゲット色を取得する色取得サブモジュールと、
前記ｋ番目のフレーム画像のターゲット色と前記ｋ番目のフレーム画像の前のフレーム画像のターゲット色を重み付け加算する重み付け加算サブモジュールと、を含む、
重み付け加算された色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングする第３のレンダリングサブモジュールと、を含む、
ことを特徴とする請求項７～１２のいずれかに記載の画像処理装置。

【請求項13】

電子機器であって、
プロセッサと、
前記プロセッサで実行可能な命令を記憶するメモリとを含み、
前記プロセッサは、
ターゲット画像に髪が含まれていない第１の顔マスクグラフを決定し、前記第１の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれていない第１の顔領域を取得する操作と、
前記第１の顔領域の外に予め設定されたグレースケールの色を充填して、予め設定された形状のサンプリングされる画像を生成する操作と、
前記サンプリングされる画像に対してダウンサンプリングを行い、サンプリング結果のうち、前記予め設定されたグレースケールの色のサンプリング結果を除去して、残りのサンプリング結果を取得する操作と、
前記残りのサンプリング結果の色平均値を計算し、予め設定された基準顔色と前記平均値を重み付け加算して、ターゲット色を取得する操作と、
前記ターゲット色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングする操作と、を実現するために前記命令を実行するように構成される、
ことを特徴とする電子機器。

【請求項14】

前記プロセッサは、
各残りのサンプリング結果の同じ色チャネルの色値の平均値を計算して、各前記色チャネルに対応する色平均値を取得する操作と、
各前記色チャネルに対応する色平均値を、それぞれ基準顔色のうち対応する色チャネルの色と重み付け加算して、各前記色チャネルのターゲット色を取得する操作と、を実現するために前記命令を実行するように構成される、
ことを特徴とする請求項１３に記載の電子機器。

【請求項15】

前記プロセッサは、
各残りのサンプリング結果の色平均値を計算する操作と、
前記平均値と予め設定された色閾値の差を計算する操作と、
前記差が予め設定された差閾値より小さいことに基づいて、第１の予め設定された重みで予め設定された基準顔色を重み付けし、第２の予め設定された重みで前記平均値を重み付けし、重み付け和を計算して、ターゲット色を取得する操作であって、前記第１の予め設定された重みは、前記第２の予め設定された重みよりも小さい操作と、
前記差が予め設定された差閾値より大きいことに基づいて、前記第１の予め設定された重みを増やし、及び／又は前記第２の予め設定された重みを減らし、増やされた第１の予め設定された重みで予め設定された基準顔色を重み付けし、減らされた第２の予め設定された重みで前記平均値を重み付け、重み付け和を計算して、ターゲット色を取得する操作と、を実現するために前記命令を実行するように構成される、
ことを特徴とする請求項１３に記載の電子機器。

【請求項16】

前記プロセッサは、
前記第１の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれていない第１の顔領域を決定する操作と、
前記ターゲット色に基づいて、前記第１の顔領域内のピクセルをレンダリングする操作と、を実現するために前記命令を実行するように構成される、
ことを特徴とする請求項１３に記載の電子機器。

【請求項17】

前記プロセッサは、
前記ターゲット画像の顔キーポイントを取得し、前記顔キーポイントに基づいて髪が含まれる第２の顔マスクグラフを決定する操作と、
前記第２の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれる第２の顔領域を決定する操作と、
前記ターゲット色に基づいて、前記第２の顔領域内のピクセルをレンダリングする操作と、を実現するために前記命令を実行するように構成される、
ことを特徴とする請求項１３に記載の電子機器。

【請求項18】

前記プロセッサは、
前記ｋ番目のフレーム画像の前のフレーム画像のターゲット色を取得する操作と、
前記ｋ番目のフレーム画像のターゲット色と前記ｋ番目のフレーム画像の前のフレーム画像のターゲット色を重み付け加算する操作と、
重み付け加算された色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングする操作と、を実現するために前記命令を実行するように構成される、
ことを特徴とする請求項１３～１７のいずれかに記載の電子機器。

【請求項19】

記憶媒体であって、
前記記憶媒体内の命令が電子機器のプロセッサによって実行されると、前記電子機器は、
ターゲット画像に髪が含まれていない第１の顔マスクグラフを決定し、前記第１の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれていない第１の顔領域を取得する操作と、
前記第１の顔領域の外に予め設定されたグレースケールの色を充填して、予め設定された形状のサンプリングされる画像を生成する操作と、
前記サンプリングされる画像に対してダウンサンプリングを行い、サンプリング結果のうち、前記予め設定されたグレースケールの色のサンプリング結果を除去して、残りのサンプリング結果を取得する操作と、
前記残りのサンプリング結果の色平均値を計算し、予め設定された基準顔色と前記平均値を重み付け加算して、ターゲット色を取得する操作と、
前記ターゲット色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングする操作と、を実行する、
ことを特徴とする記憶媒体。

【請求項20】

前記記憶媒体内の命令が電子機器のプロセッサによって実行されると、前記電子機器は、
各残りのサンプリング結果の同じ色チャネルの色値の平均値を計算して、各前記色チャネルに対応する色平均値を取得する操作と、
各前記色チャネルに対応する色平均値を、それぞれ基準顔色のうち対応する色チャネルの色と重み付け加算して、各前記色チャネルのターゲット色を取得する操作と、を実行する、
ことを特徴とする請求項１９に記載の記憶媒体。

【請求項21】

前記記憶媒体内の命令が電子機器のプロセッサによって実行されると、前記電子機器は、
各残りのサンプリング結果の色平均値を計算する操作と、
前記平均値と予め設定された色閾値の差を計算する操作と、
前記差が予め設定された差閾値より小さいことに基づいて、第１の予め設定された重みで予め設定された基準顔色を重み付けし、第２の予め設定された重みで前記平均値を重み付けし、重み付け和を計算して、ターゲット色を取得する操作であって、前記第１の予め設定された重みは、前記第２の予め設定された重みよりも小さい操作と、
前記差が予め設定された差閾値より大きいことに基づいて、前記第１の予め設定された重みを増やし、及び／又は前記第２の予め設定された重みを減らし、増やされた第１の予め設定された重みで予め設定された基準顔色を重み付けし、減らされた第２の予め設定された重みで前記平均値を重み付け、重み付け和を計算して、ターゲット色を取得する操作と、を実行する、
ことを特徴とする請求項１９に記載の記憶媒体。

【請求項22】

前記記憶媒体内の命令が電子機器のプロセッサによって実行されると、前記電子機器は、
前記第１の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれていない第１の顔領域を決定する操作と、
前記ターゲット色に基づいて、前記第１の顔領域内のピクセルをレンダリングする操作と、を実行する、
ことを特徴とする請求項１９に記載の記憶媒体。

【請求項23】

前記記憶媒体内の命令が電子機器のプロセッサによって実行されると、前記電子機器は、
前記ターゲット画像の顔キーポイントを取得し、前記顔キーポイントに基づいて髪が含まれる第２の顔マスクグラフを決定する操作と、
前記第２の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれる第２の顔領域を決定する操作と、
前記ターゲット色に基づいて、前記第２の顔領域内のピクセルをレンダリングする操作と、を実行する、
ことを特徴とする請求項１９に記載の記憶媒体。

【請求項24】

前記記憶媒体内の命令が電子機器のプロセッサによって実行されると、前記電子機器は、
前記ｋ番目のフレーム画像の前のフレーム画像のターゲット色を取得する操作と、
前記ｋ番目のフレーム画像のターゲット色と前記ｋ番目のフレーム画像の前のフレーム画像のターゲット色を重み付け加算する操作と、
重み付け加算された色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングする操作と、を実行する、
ことを特徴とする請求項１９～２３のいずれかに記載の記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２０年６月１９日に提出した、発明の名称が「画像処理方法、装置、電子機器及び記憶媒体」であり、中国特許出願番号が「２０２０１０５６７６９９．５」であるものの優先権を主張し、その内容全体が参照により本明細書に組み込まれる。

【0002】

本開示は、画像処理分野に関し、特に、画像処理方法、装置、電子機器及び記憶媒体に関する。

【背景技術】

【0003】

画像処理用途では、五官の処理は比較的一般的な操作であり、例えば、五官を拡大、移動、消去することができる。ただし、顔の五官を消去する現在の方法は、置き換えられた五官の色と人間の顔の色の違いが大きいため、レンダリング効果が低下し、かつ、顔の五官の近くに多くのピクセル点が存在するため、計算量が大きくなりすぎ、計算力の低いデバイスに適用することが困難であることが多い。

【発明の概要】

【0004】

本開示は、関連技術における技術的課題を少なくとも解決するために、画像処理方法、装置、電子機器及び記憶媒体を提供する。本開示の技術案は以下の通りである。

【0005】

本開示の実施例による第１の態様は、画像処理方法を提供し、ターゲット画像に髪が含まれていない第１の顔マスクグラフを決定し、前記第１の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれていない第１の顔領域を取得するステップと、前記第１の顔領域の外に予め設定されたグレースケールの色を充填して、予め設定された形状のサンプリングされる画像を生成するステップと、前記サンプリングされる画像に対してダウンサンプリングを行い、サンプリング結果のうち、前記予め設定されたグレースケールの色のサンプリング結果を除去して、残りのサンプリング結果を取得するステップと、前記残りのサンプリング結果の色平均値を計算し、予め設定された基準顔色と前記平均値を重み付け加算して、ターゲット色を取得するステップと、前記ターゲット色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングするステップと、を含む。

【0006】

本開示の実施例による第２の態様は、画像処理装置を提供し、ターゲット画像に髪が含まれていない第１の顔マスクグラフを決定し、前記第１の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれていない第１の顔領域を取得する第１の顔決定モジュールと、前記第１の顔領域の外に予め設定されたグレースケールの色を充填して、予め設定された形状のサンプリングされる画像を生成する画像生成モジュールと、前記サンプリングされる画像に対してダウンサンプリングを行い、サンプリング結果のうち、予め設定されたグレースケールの色のサンプリング結果を除去して、残りのサンプリング結果を取得するダウンサンプリングモジュールと、前記残りのサンプリング結果の色平均値を計算し、予め設定された基準顔色と前記平均値を重み付け加算して、ターゲット色を取得する計算モジュールと、前記ターゲット色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングするレンダリングモジュールと、を含む。

【0007】

本開示の実施例による第３の態様は、電子機器を提供し、プロセッサと、前記プロセッサで実行可能な命令を記憶するメモリとを含み、前記プロセッサは、前記実施例のいずれかに記載の画像処理方法を実現するために前記命令を実行するように構成される。

【0008】

本開示の実施例による第４の態様は、記憶媒体を提供し、前記記憶媒体内の命令が電子機器のプロセッサによって実行されると、前記電子機器は、前記実施例のいずれかに記載の画像処理方法を実現することができる。

【0009】

本開示の実施例による第５の態様は、コンピュータプログラム製品を提供し、前記プログラム製品は、読み取り可能な記憶媒体に記憶されたコンピュータプログラムを含み、デバイスの少なくとも１つのプロセッサが読み取り可能な記憶媒体からコンピュータプログラムを読み込んで実行することにより、デバイスは前記実施例のいずれかに記載の画像処理方法を実行する。

【0010】

なお、前述の一般的な説明および以下の詳細な説明は、例示および説明のためだけのものであり、本開示の範囲を限定するものではない。

【図面の簡単な説明】

【0011】

本明細書の図面は本明細書に組み込まれ、本明細書の一部を構成し、本開示による実施形態を例示し、本明細書と共に使用されて、本開示の原理を説明し、本開示の範囲を限定するものではない。

【図1】本開示の実施例による画像処理方法の概略フローチャートである。

【図2】本開示の実施例による第１の顔マスクグラフである。

【図3】本開示の実施例によるサンプリングされる画像である。

【図4】本開示の実施例によるサンプリング結果の模式図である。

【図5】本開示の実施例による平均値に対応する色の模式図である。

【図6】本開示の実施例によるターゲット色の模式図である。

【図7】本開示の実施例による別の画像処理方法の概略フローチャートである。

【図8】本開示の実施例によるさらに別の画像処理方法の概略フローチャートである。

【図9】本開示の実施例によるさらに別の画像処理方法の概略フローチャートである。

【図10】本開示の実施例によるさらに別の画像処理方法の概略フローチャートである。

【図11】本開示の実施例によるレンダリングされた第２の顔領域の模式図である。

【図12】本開示の実施例によるさらに別の画像処理方法の概略フローチャートである。

【図13】本開示の実施例による画像処理装置の概略ブロック図である。

【図14】本開示の実施例による計算モジュールの概略ブロック図である。

【図15】本開示の実施例による別の計算モジュールの概略ブロック図である。

【図16】本開示の実施例によるレンダリングモジュールの概略ブロック図である。

【図17】本開示の実施例による別のレンダリングモジュールの概略ブロック図である。

【図18】本開示の実施例によるさらに別のレンダリングモジュールの概略ブロック図である。

【図19】本開示の実施例による電子機器の概略ブロック図である。

【発明を実施するための形態】

【0012】

当業者が本開示の技術案をよりよく理解できるようにするために、本開示の実施例における技術案を、添付の図面を参照して以下で明確かつ完全に説明する。

【0013】

本開示の説明および特許請求の範囲および上記の図面における「第１」、「第２」などの用語は、類似の対象を区別するために使用され、必ずしも特定の順序または順序を説明するために使用されるわけではない。なお、そのように使用されるデータは、適切な状況下で交換可能であるため、本明細書に記載された開示の実施例は、本明細書に図示または記載されたもの以外の順序で実施できる。以下の実施例で説明する実施形態は、本開示と一致するすべての実施形態を表すことを意図したものではない。むしろ、それらは、ただ添付の特許請求の範囲に記載されている本開示のいくつかの態様と一致する装置および方法の例だけである。

【0014】

図１は本開示の実施例による画像処理方法の概略フローチャートである。本実施例に示される画像処理方法は、携帯電話、タブレット、ウェアラブルデバイス、パーソナルコンピュータなどの端末に適用することができ、ローカルサーバー、クラウドサーバーなどのサーバーにも適用することができる。

【0015】

図１に示すように、前記画像処理方法は、以下のステップＳ１０１～Ｓ１０５を含む。
Ｓ１０１では、ターゲット画像に髪が含まれていない第１の顔マスクグラフを決定し、前記第１の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれていない第１の顔領域を取得する。
Ｓ１０２では、前記第１の顔領域の外に予め設定されたグレースケールの色を充填して、予め設定された形状のサンプリングされる画像を生成する。
Ｓ１０３では、前記サンプリングされる画像に対してダウンサンプリングを行い、サンプリング結果のうち、予め設定されたグレースケールの色のサンプリング結果を除去して、残りのサンプリング結果を取得する。
Ｓ１０４では、残りのサンプリング結果の色平均値を計算し、予め設定された基準顔色と前記平均値を重み付け加算して、ターゲット色を取得する。
Ｓ１０５では、前記ターゲット色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングする。

【0016】

いくつかの実施例では、第１の顔マスクグラフを決定する方式は、必要に応じて選択することができる。例えば、事前に深層学習のトレーニングによってマスク決定モデルを取得し、マスク決定モデルは、画像に髪が含まれていないマスクグラフを決定するために使用され、ひいてはマスク決定モデルに基づいて、ターゲット画像に髪が含まれていない第１の顔マスクグラフを決定することができる。例えば、事前に深層学習のトレーニングによって、キーポイント決定モデルを取得し、キーポイント決定モデルは、画像内の顔のキーポイントを決定するために使用され、キーポイント決定モデルに基づいて、ターゲット画像内の顔のキーポイントを決定し、顔のエッジに位置するキーポイントを接続することによって形成される閉領域を第１の顔マスククグラフとして使用することができる。

【0017】

第１の顔マスクグラフを決定した後、第１の顔マスクグラフに基づいて、ターゲット画像に髪が含まれていない第１の顔領域を取得し、さらに、第１の顔領域の外に予め設定されたグレースケールの色を充填して、予め設定された形状のサンプリングされる画像を生成することができる。ここで、予め設定されたグレースケールは、必要に応じて０～２５５から選択することができ、例えば、予め設定されたグレースケールが０である場合、予め設定されたグレースケールの色は黒であり、例えば、予め設定されたグレースケールが２５５である場合、予め設定されたグレースケールの色は白である。本実施例では、予め設定されたグレースケールが０である場合、または予め設定されたグレースケールが２５５である場合の色を選択することができ、これは、後続のサンプリングプロセスにおいて、顔ピクセルのサンプリング結果と同じ色が、予め設定されたグレースケールの色と同じになって除去されることを回避するのに有益である。

【0018】

図２は本開示の実施例による第１の顔マスクグラフである。図３は本開示の実施例によるサンプリングされる画像である。

【0019】

予め設定されたグレースケールを０とし、予め設定されたグレースケールの色を黒とすると、図２に示すように、第１の顔マスクグラフによって、ターゲット画像に、図３に示されるような髪が含まれていない第１の顔領域を取得することができ、第１の顔領域の外に予め設定されたグレースケールの色を充填することによって形成された予め設定された形状は、図３に示されるような矩形であってもよいし、他の形状であってもよく、本開示において限定されない。

【0020】

サンプリングされる画像に対してダウンサンプリングを行うことができ、ここで、サンプリングするダウンサンプリング方式は、必要に応じて設定することができ、例えば、４＊７に設定することができ、つまり、幅方向に４回、高さ方向に７回サンプリングすると、２８個のサンプリング結果が得られ、ここで、各サンプリングは、単一のピクセルを収集するか、特定の位置の近くの複数のピクセルを収集するか、サンプリングする画像を平均で４＊７の領域に分割して、各領域のピクセルの色平均値をサンプリング結果として使用することができる。

【0021】

一般に、純粋な予め設定されたグレースケールの色領域の大きな領域は人間の肌には表示されないため、予め設定されたグレースケールの色のサンプリング結果に基づいて取得される残りのサンプリング結果は、第１の顔領域の外に充填されている部分をサンプリングすることによって完全に取得され、ここで、参照用の肌色がないため、サンプリング結果のうち、予め設定されたグレースケールの色のサンプリング結果を除去することができ、残りのサンプリング結果には参照用の肌色が含まれる。

【0022】

図４は本開示の実施例によるサンプリング結果の模式図である。

【0023】

図４に示すように、２行のサンプリング結果が含まれ、各行には１４個のサンプリング結果が含まれ、合計２８個のサンプリング結果が含まれ、２８個のサンプリング結果のうち、２４個のサンプリング結果の色が予め設定されたグレースケールの色であり、４個のサンプリング結果の色が予め設定されたグレースケールの色ではない場合、予め設定されたグレースケールの色の２４個のサンプルサンプリング結果を除去し、予め設定されたグレースケールの色ではないの残りの４個のサンプリング結果を保持する。

【0024】

残りのサンプリング結果が１つ以上であってもよく、残りのサンプリング結果が１つである場合、その色は平均値になり、残りのサンプリング結果が複数である場合、残りの各サンプリング結果の色を合計し、平均値を計算し、例えば、色は０～２５５のグレースケール値で表現したり、０～２５５のグレースケール値を０～１の間隔に変換して表現したりすることができる。

【0025】

残りのサンプリング結果の色は、予め設定されたグレースケールの色ではないが、対応するサンプリング領域には、充填された予め設定されたグレースケールの色領域と顔領域の両方が含まれる場合があり、その結果、得られた平均値が暗くなる。または、ターゲット画像が暗い環境などの極端な環境にある場合、残りの各サンプリングの色はより暗くなり、得られた平均値もより暗くなる。

【0026】

この状況を考慮して、本実施では、平均値を計算した後、予め設定された基準顔色と前記平均値を重み付け加算して、ターゲット色を取得し、ここで、基準顔色は、予め設定された顔の肌色に近い色であってもよい。予め設定された基準顔色と前記サンプリング結果の色平均値を重み付け加算することで、平均値のみに基づいて得られた色と通常の色との差が大きくなりすぎないように、基準顔色に基づいて平均値をある程度補正することができる。

【0027】

図５は本開示の実施例による平均値に対応する色の模式図である。図６は本開示の実施例によるターゲット色の模式図である。図５に示すように、平均値に対応する色はより暗くなり、予め設定された基準顔色と前記平均値を重み付け加算して得られる図６に示すターゲット色は、より顔の肌色に近くなり、これによって、平均値によってターゲット画像の顔の色を反映するだけでなく、取得されたターゲット色は通常の顔の色とあまり変わらないことを保証することができる。

【0028】

最後に、得られたターゲット色に基づいて、ターゲット画像の顔領域内のピクセルをレンダリングすることにより、顔領域のすべてのピクセルの色をターゲット色として設定し、顔領域の目、眉、鼻、口などの五官を消去する効果を実現することができる。

【0029】

本開示の実施例によれば、ターゲット色はダウンサンプリングによって得られ、ダウンサンプリングのサンプリング結果の色情報のデータ量は比較的少ないため、計算力の低いデバイスで処理するのに便利である。そして、レンダリング用のターゲット色は、予め設定された基準顔色と前記平均値を重み付け加算することによって得られ、平均値はターゲット画像の顔の色を反映することができ、基準顔色は補正の役割を果たすことができる。

【0030】

本開示の実施例では、ターゲット色とターゲット画像内の顔の色とが一致するとともに、通常の色との差が大きくなりすぎるのを防ぐことができる。

【0031】

図７は本開示の実施例による別の画像処理方法の概略フローチャートである。図７に示すように、残りのサンプリング結果の色平均値を計算し、予め設定された基準顔色と前記平均値を重み付け加算して、ターゲット色を取得するステップは、以下のＳ１０４１～Ｓ１０４２を含む。

【0032】

Ｓ１０４１では、各残りのサンプリング結果の同じ色チャネルの色値の平均値を計算して、各前記色チャネルに対応する色平均値を取得する。

【0033】

Ｓ１０４２では、各前記色チャネルに対応する色平均値を、それぞれ基準顔色のうち対応する色チャネルの色と重み付け加算して、各前記色チャネルのターゲット色を取得する。

【0034】

いくつかの実施例では、残りのサンプリング結果は、複数の色チャネルの色を含むことができ、例えば、Ｒ（赤）、Ｇ（緑）、およびＢ（青）の３つの色チャネルを含むことができ、各色チャネルの色は、０～２５５のグレースケール値で表現したり、０～２５５のグレースケール値を０～１の間隔に変換して表現したりすることができる。残りのサンプリング結果については、各残りのサンプリング結果の同じ色チャネルの色値の平均値を計算して、各色チャネルに対応する色平均値を取得するすることができる。

【0035】

基準顔色には３つの色チャネルの色も含まれ、例えば、残りのサンプリング結果の３つの色チャネルの色を０～１の間隔に変換して表現する場合、基準顔色に含まれる３つの色チャネルの色も、０～１の間の値で表すことができ、例えば、基準顔色を（０．９７、０．８１、０．７）に設定することができる。各前記色チャネルに対応する色平均値を、それぞれ基準顔色のうち対応する色チャネルの色と重み付け加算して、各前記色チャネルのターゲット色を取得することができる。

【0036】

図８は本開示の実施例によるさらに別の画像処理方法の概略フローチャートである。図８に示すように、残りのサンプリング結果の色平均値を計算し、予め設定された基準顔色と前記平均値を重み付け加算して、ターゲット色を取得するステップは、以下のＳ１０４３～Ｓ１０４６を含む。
Ｓ１０４３では、各残りのサンプリング結果の色平均値を計算する。
Ｓ１０４４では、前記平均値と予め設定された色閾値の差を計算する。
Ｓ１０４５では、前記差が予め設定された差閾値より小さいことに基づいて、第１の予め設定された重みで予め設定された基準顔色を重み付けし、第２の予め設定された重みで前記平均値を重み付けし、重み付け和を計算して、ターゲット色を取得し、前記第１の予め設定された重みは、前記第２の予め設定された重みよりも小さい。
Ｓ１０４６では、前記差が予め設定された差閾値より大きいことに基づいて、前記第１の予め設定された重みを増やし、及び／又は前記第２の予め設定された重みを減らし、増やされた第１の予め設定された重みで予め設定された基準顔色を重み付けし、減らされた第２の予め設定された重みで前記平均値を重み付けし、重み付け和を計算して、ターゲット色を取得する。

【0037】

いくつかの実施例では、予め設定された基準顔色と前記平均値を重み付け加算するプロセスにおいて、平均値と基準顔色との重みは、予め設定されるか、リアルタイムで調整されてもよい。

【0038】

例えば、得られた平均値と比較するために色閾値を事前に設定することができ、予め設定された色閾値は、一般的に肌の色に近い色であってもよく、具体的には、前記平均値と予め設定された色閾値の差を計算することができる。

【0039】

前記差が予め設定された差閾値より小さい場合、得られた平均値は一般的に肌の色に比較的近いことを意味する。これによって、予め設定された基準顔色を第１の予め設定された重みで重み付けし、前記平均値を第２の予め設定された重みで重み付けし、重み付けされた値を合計してターゲット色を取得することができる。第２の予め設定された重みは第１の予め設定された重みよりも大きいため、重み付け加算されたターゲット色は、ターゲット画像内の顔の肌の色をより多く反映させることができ、レンダリング結果が、ターゲット画像内の顔の肌の元の色に近いことを保証することができる。

【0040】

前記差が予め設定された差閾値より大きい場合、得られた平均値は一般的に肌の色とはかなり異なり、ターゲット画像内の顔は、より極端な環境にある可能性があり、その結果、得られた平均値が比較的異常になることを意味する。これによって、前記第１の予め設定された重みを増やし、及び／又は前記第２の予め設定された重みを減らし、予め設定された基準顔色を、増やされた第１の予め設定された重みで重み付けし、前記平均値を、減らされた第２の予め設定された重みで重み付けし、重み付けされた値を合計してターゲット色を取得することができる。第２の重みを減らし、第１の重みを増やすことで、平均値の異常によるターゲット色への影響を軽減し、基準顔色を補正する効果を強めることができる。

【0041】

図９は本開示の実施例によるさらに別の画像処理方法の概略フローチャートである。図９に示すように、前記ターゲット色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングするステップは、以下のＳ１０５１～Ｓ１０５２を含む。
Ｓ１０５１では、前記第１の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれていない第１の顔領域を決定する。
Ｓ１０５２では、前記ターゲット色に基づいて、前記第１の顔領域内のピクセルをレンダリングする。

【0042】

いくつかの実施例では、第１の顔マスクグラフに基づいて、ターゲット画像に髪が含まれていない第１の顔領域を決定し、前記ターゲット色に基づいて、第１の顔領域内のピクセルをレンダリングすることにより、顔領域内のすべてのピクセルの色をターゲット色として設定し、顔領域の目、眉、鼻、口などの五官を消去する効果を実現することができる。

【0043】

図１０は本開示の実施例によるさらに別の画像処理方法の概略フローチャートである。図１０に示すように、前記ターゲット色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングするステップは、以下のＳ１０５３～Ｓ１０５５を含む。
Ｓ１０５３では、前記ターゲット画像の顔キーポイントを取得し、前記顔キーポイントに基づいて髪が含まれる第２の顔マスクグラフを決定する。
Ｓ１０５４では、前記第２の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれる第２の顔領域を決定する。
Ｓ１０５５では、前記ターゲット色に基づいて、前記第２の顔領域内のピクセルをレンダリングする。

【0044】

図９に示される実施例に基づいて、第１の顔領域内のピクセルをレンダリングし、第１の顔領域には髪が含まれていないため、第１の顔領域の髪との境界には、明確な境界線があり、ユーザーにとって不自然に見える。

【0045】

本実施例は、ターゲット画像の顔キーポイントを取得し、前記顔キーポイントに基づいて髪が含まれる第２の顔マスクグラフを決定し、ひいては第２の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれる第２の顔領域を決定することができ、第２の顔領域には髪が含まれているため、髪との明確な境界がないため、前記ターゲット色に基づいて、前記第２の顔領域内のピクセルをレンダリングし、ピクセルをレンダリングされた結果は、比較的自然に見える。

【0046】

図１１は本開示の実施例によるレンダリングされた第２の顔領域の模式図である。

【0047】

図１１に示すように、第２の顔マスクグラフは楕円に近く、あごから額までを上から下までカバーし、顔の左端から右端までを左から右にカバーする。第２の顔領域には髪が含まれ、つまり、額と髪の間に明確な境界がないため、ターゲット色に基づいて第２の顔領域内のピクセルをレンダリングし、レンダリングされた表示効果は比較的自然に見える。

【0048】

さらに、レンダリングのプロセスでは、第２の顔領域のエッジに対するレンダリング効果を徐々に減少させることができるため、レンダリングされた第２の顔領域は一定の透明度を有し、視覚効果的に顔領域以外の領域と接続することができる。

【0049】

図１２は本開示の実施例によるさらに別の画像処理方法の概略フローチャートである。図１２に示すように、前記ターゲット画像は、連続するマルチフレーム画像のｋ番目のフレーム画像であり、ｋは１より大きい整数であり、前記ターゲット色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングするステップは、以下のＳ１０５６～Ｓ１０５８を含む。
Ｓ１０５６では、前記ｋ番目のフレーム画像の前のフレーム画像のターゲット色を取得する。
Ｓ１０５７では、前記ｋ番目のフレーム画像のターゲット色と前記ｋ番目のフレーム画像の前のフレーム画像のターゲット色を重み付け加算する。
Ｓ１０５８では、重み付け加算された色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングする。

【0050】

いくつかの実施例では、ターゲット画像は単独の画像であってもよく、連続する複数の画像フレームにおけるｋ番目の画像フレーム、例えば特定のビデオに属する画像のフレームであってもよい。

【0051】

複数のフレーム画像において、顔が配置されている環境の光が変化する可能性があるため、顔の肌色が変化し、または、顔と光源の間の角度が変化するせいで、顔の肌色が変化する。顔領域内のピクセルが、ターゲット画像のこのフレーム画像に対応するターゲット色のみに基づいてレンダリングされる場合、隣接する画像のレンダリング結果が大きく異なったせいで、ユーザーは、五官が消去された顔領域で色飛び（またはちらつき）の効果を感じる。

【0052】

それに対して、本実施例は、例えば、図１に示す実施例におけるステップに従って、前記ｋ番目のフレーム画像の前のフレーム画像のターゲット色を取得し、取得されたターゲット色を記憶し、ひいてはｋ番目のフレーム画像のターゲット色、及びｋ番目のフレーム画像の前のフレーム画像のターゲット色を重み付け加算し、このように、重み付け加算された色は、ｋ番目のフレーム画像の顔の肌色、及びｋ番目のフレーム画像の前のフレーム画像の顔の肌色を組み合わせる。そして、重み付け加算された色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングすることにより、ｋ番目のフレーム画像の前の画像（例えば、前のフレーム画像）の顔領域に対するレンダリング結果の色飛びを回避することができる。

【0053】

前述の画像処理方法の実施例に対応して、本開示は、画像処理装置の実施例をさらに提供する。

【0054】

図１３は本開示の実施例による画像処理装置の概略ブロック図である。本実施例に示される画像処理装置は、携帯電話、タブレット、ウェアラブルデバイス、パーソナルコンピュータなどの端末に適用することができ、ローカルサーバー、クラウドサーバーなどのサーバーにも適用することができる。

【0055】

図１３に示すように、前記画像処理装置は、
ターゲット画像に髪が含まれていない第１の顔マスクグラフを決定し、前記第１の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれていない第１の顔領域を取得する第１の顔決定モジュール１０１と、
前記第１の顔領域の外に予め設定されたグレースケールの色を充填して、予め設定された形状のサンプリングされる画像を生成する画像生成モジュール１０２と、
前記サンプリングされる画像に対してダウンサンプリングを行い、サンプリング結果のうち、予め設定されたグレースケールの色のサンプリング結果を除去して、残りのサンプリング結果を取得するダウンサンプリングモジュール１０３と、
残りのサンプリング結果の色平均値を計算し、予め設定された基準顔色と前記平均値を重み付け加算して、ターゲット色を取得する計算モジュール１０４と、
前記ターゲット色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングするレンダリングモジュール１０５と、を含む。

【0056】

図１４は本開示の実施例による計算モジュールの概略ブロック図である。図１４に示すように、前記計算モジュール１０４は、
各残りのサンプリング結果の同じ色チャネルの色値の平均値を計算して、各前記色チャネルに対応する色平均値を取得する第１の平均値サブモジュール１０４１と、
各前記色チャネルに対応する色平均値を、それぞれ基準顔色のうち対応する色チャネルの色と重み付け加算して、各前記色チャネルのターゲット色を取得する第１の重み付けサブモジュール１０４２と、を含む。

【0057】

図１５は本開示の実施例による別の計算モジュールの概略ブロック図である。図１５に示すように、前記計算モジュール１０４は、
各残りのサンプリング結果の色平均値を計算する第２の平均値サブモジュール１０４３と、
前記平均値と予め設定された色閾値の差を計算する差計算サブモジュール１０４４と、
前記差が予め設定された差閾値より小さいことに基づいて、第１の予め設定された重みで予め設定された基準顔色を重み付けし、第２の予め設定された重みで前記平均値を重み付けし、重み付け和を計算して、ターゲット色を取得する第２の重み付けサブモジュール１０４５であって、前記第１の予め設定された重みは、前記第２の予め設定された重みよりも小さい第２の重み付けサブモジュール１０４５と、
前記差が予め設定された差閾値より大きいことに基づいて、前記第１の予め設定された重みを増やし、及び／又は前記第２の予め設定された重みを減らし、増やされた第１の予め設定された重みで予め設定された基準顔色を重み付けし、減らされた第２の予め設定された重みで前記平均値を重み付けし、重み付け和を計算して、ターゲット色を取得する第３の重み付けサブモジュール１０４６とを含む。

【0058】

図１６は本開示の実施例によるレンダリングモジュールの概略ブロック図である。図１６に示すように、前記レンダリングモジュール１０５は、
前記第１の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれていない第１の顔領域を決定する第１の領域決定サブモジュール１０５１と、
前記ターゲット色に基づいて、前記第１の顔領域内のピクセルをレンダリングする第１のレンダリングサブモジュール１０５２と、を含む。

【0059】

図１７は本開示の実施例による別のレンダリングモジュールの概略ブロック図である。図１７に示すように、前記レンダリングモジュール１０５は、
前記ターゲット画像の顔キーポイントを取得し、前記顔キーポイントに基づいて髪が含まれる第２の顔マスクグラフを決定するマスク決定サブモジュール１０５３と、
前記第２の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれる第２の顔領域を決定する第２の領域決定サブモジュール１０５４と、
前記ターゲット色に基づいて、前記第２の顔領域内のピクセルをレンダリングする第２のレンダリングサブモジュール１０５５と、を含む。

【0060】

図１８は本開示の実施例によるさらに別のレンダリングモジュールの概略ブロック図である。図１８に示すように、前記ターゲット画像は、連続するマルチフレーム画像のｋ番目のフレーム画像であり、ｋは１より大きい整数であり、前記レンダリングモジュール１０５は、
前記ｋ番目のフレーム画像の前のフレーム画像のターゲット色を取得する色取得サブモジュール１０５６と、
前記ｋ番目のフレーム画像のターゲット色と前記ｋ番目のフレーム画像の前のフレーム画像のターゲット色を重み付け加算する重み付け加算サブモジュール１０５７と、
重み付け加算された色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングする第３のレンダリングサブモジュール１０５８とを含む。

【0061】

本開示の実施例は、電子機器をさらに提供し、
プロセッサと、
前記プロセッサで実行可能な命令を記憶するメモリとを含み、
前記プロセッサは、前記実施例のいずれかに記載の画像処理方法を実現するために前記命令を実行するように構成される。

【0062】

本開示の実施例は、記憶媒体をさらに提供し、前記記憶媒体内の命令が電子機器のプロセッサによって実行されると、前記電子機器は、前記実施例のいずれかに記載の画像処理方法を実現することができる。

【0063】

本開示の実施例は、コンピュータプログラム製品をさらに提供し、前記プログラム製品は、読み取り可能な記憶媒体に記憶されたコンピュータプログラムを含み、デバイスの少なくとも１つのプロセッサが読み取り可能な記憶媒体からコンピュータプログラムを読み込んで実行することにより、デバイスは前記実施例のいずれかに記載の画像処理方法を実行する。

【0064】

図１９は、本開示の一実施例による電子機器の概略ブロック図である。例えば、電子機器１９００は、携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲームコンソール、タブレットデバイス、医療装置、フィットネスデバイス、パーソナルデジタルアシスタントなどであってもよい。

【0065】

図１９を参照すると、電子機器１９００は、処理コンポーネント１９０２、メモリ１９０４、電源コンポーネント１９０６、マルチメディアコンポーネント１９０８、オーディオコンポーネント１９１０、入力／出力（Ｉ／Ｏ）インタフェース１９１２、センサコンポーネント１９１４、及び通信コンポーネント１９１６からなる群から選ばれる少なくとも１つを備えてもよい。

【0066】

処理コンポーネント１９０２は、一般的には、電子機器１９００の全体の操作、例えば、表示、電話呼び出し、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理コンポーネント１９０２は、上記の画像処理方法のすべて又は一部のステップを実現するように、命令を実行する少なくとも１つのプロセッサ１９２０を備えてもよい。また、処理コンポーネント１９０２は、他のコンポーネントとのインタラクションを促進させるように、少なくとも１つのモジュールを備えてもよい。例えば、処理コンポーネント１９０２は、マルチメディアコンポーネント１９０８とのインタラクションを便利にさせるように、マルチメディアモジュールを備えてもよい。

【0067】

メモリ１９０４は、電子機器１９００での操作をサポートするように、各種のデータを記憶するように配置される。これらのデータは、例えば、電子機器１９００で何れのアプリケーション又は方法を操作するための命令、連絡先データ、電話帳データ、メッセージ、画像、ビデオ等を含む。メモリ１９０４は、何れの種類の揮発性又は不揮発性メモリ、例えば、スタティック ランダム アクセス メモリ（ＳＲＡＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクにより、或いはそれらの組み合わせにより実現することができる。

【0068】

電源コンポーネント１９０６は、電子機器１９００の各種コンポーネントに電力を供給するためのものであり、電源管理システム、１つ又は複数の電源、及び電子機器１９００のために電力を生成、管理及び分配することに関連する他のコンポーネントを備えてもよい。

【0069】

マルチメディアコンポーネント１９０８は、電子機器１９００とユーザとの間に出力インタフェースを提供するスクリーンを備えてもよい。いくつかの実施例では、スクリーンは、液晶ディスプレイ(ＬＣＤ)やタッチパネル(ＴＰ)を備えてもよい。スクリーンがタッチパネルを備える場合、ユーザからの入力信号を受信するように、タッチスクリーンになることができる。タッチパネルは、タッチや、スライドや、タッチパネル上の手振りを知覚するように、１つ又は複数のタッチセンサーを有する。タッチセンサーは、タッチやスライド動作の境界を知覚できるだけではなく、タッチやスライド操作と関連する持続時間や圧力も知覚できる。一実施例では、マルチメディアコンポーネント１９０８は、フロントカメラ及び／又はバックカメラ含む。電子機器１９００が、例えば、撮影モードやビデオモードのような操作モードにある時、フロントカメラ及び／又はバックカメラの少なくとも１つが外部のマルチメディアデータを受信することができる。フロントカメラ及びバックカメラのそれぞれは、固定の光学レンズ系であってもよいし、焦点距離及び光学ズーム能力を有するものであってもよい。

【0070】

オーディオコンポーネント１９１０は、オーディオ信号を出力及び／又は入力するように配置される。例えば、オーディオコンポーネント１９１０は、マイクロフォン（ＭＩＣ）を有し、電子機器１９００が呼び出しモード、記録モード、又は音声認識モードのような操作モードにあるとき、マイクロフォンは、外部のオーディオ信号を受信するように配置される。受信したオーディオ信号は、メモリ１９０４にさらに記憶されてもよいし、通信コンポーネント１９１６を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント１９１０は、オーディオ信号を出力するためのスピーカをさらに備える。

【0071】

Ｉ／Ｏインタフェース１９１２は、処理コンポーネント１９０２と周辺インタフェースモジュールとの間にインタフェースを提供するためのものである。上記周辺インタフェースモジュールは、キーボードや、クリックホイールや、ボタン等であってもよい。これらのボタンは、ホームボタン、音量ボタン、スタートボタン、及びロックボタンの少なくとも１つであってもよいが、それらに限らない。

【0072】

センサコンポーネント１９１４は、電子機器１９００のために各方面の状態を評価する少なくとも１つのセンサーを備えてもよい。例えば、センサコンポーネント１９１４は、電子機器１９００のオン又はオフ状態や、コンポーネントの相対的な位置を検出することができ、例えば、前記コンポーネントは、電子機器１９００のディスプレイ及びキーパッドであり、センサコンポーネント１９１４は、電子機器１９００又は電子機器１９００の１つのコンポーネントの位置の変化と、ユーザが電子機器１９００に接触しているか否かと、電子機器１９００の方向又は加速／減速と、電子機器１９００の温度変化とを検出することができる。センサコンポーネント１９１４は、何れの物理的な接触もない場合に付近の物体を検出するように配置される近接センサーを有してもよい。センサコンポーネント１９１４は、イメージングアプリケーションに用いるための光センサー、例えば、ＣＭＯＳ又はＣＣＤ画像センサーを有してもよい。いくつかの実施例では、当該センサコンポーネント１９１４は、加速度センサー、ジャイロスコープセンサー、磁気センサー、圧力センサー又は温度センサーをさらに備えてもよい。

【0073】

通信コンポーネント１９１６は、電子機器１９００と他の設備の間との無線、又は有線通信を便利にさせるように配置される。電子機器１９００は、通信標準に基づく無線ネットワーク、例えば、ＷｉＦｉ、キャリアネットワーク（例えば、２Ｇ、３Ｇ、４Ｇ、または５Ｇ）、又はそれらの組み合わせにアクセスできる。いくつかの実施例では、通信コンポーネント１９１６は、ブロードキャストチャンネルを介して外部のブロードキャスト管理システムからのブロードキャスト信号、又はブロードキャストに関する情報を受信する。いくつかの実施例では、前記通信コンポーネント１９１６は、近距離通信を促進するために近距離無線通信（ＮＦＣ）モジュールをさらに備えてもよい。例えば、ＮＦＣモジュールは、無線周波数認識装置（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域無線（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術及び他の技術によって実現されてもよい。

【0074】

例示的な実施例では、電子機器１９００は、上述した画像処理方法を実行するために、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、数字信号処理デバイス（ＤＳＰＤ）、プログラム可能論理デバイス（ＰＬＤ）、書替え可能ゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサー、又は他の電子機器によって実現されてもよい。

【0075】

本開示の一実施例では、命令を含む非一時的コンピュータ読み取り可能な記憶媒体も提供され、例えば、命令を含むメモリ１９０４であり、上記の命令は、上述の画像処理方法を完了するために電子デバイス１９００のプロセッサ１９２０によって実行され得る。例えば、非一時的コンピュータ読み取り可能な記憶媒体は、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置などであってもよい。

【0076】

本開示の他の実施形態は、明細書および本明細書に開示された開示の実施を考慮すれば、当業者には容易に想起される。本開示は、本開示の任意の変形、使用、または適応をカバーすることを意図し、これらの変更、使用、または適応は、本開示の一般原則に従い、本開示によって開示されていない技術分野における常識または従来の技術的手段を含む。明細書および実施例は、単なる例示とみなされるべきであり、本開示の真の範囲および精神は、以下の特許請求の範囲によって示される。

【0077】

なお、本開示は、上で説明し、添付の図面に示した正確な構造に限定されず、その範囲から逸脱することなく、さまざまな修正および変更を行うことができる。本開示の範囲は、添付の特許請求の範囲によってのみ限定される。

【0078】

なお、本開示では、第１および第２などの関係用語は、あるエンティティまたは操作を別のエンティティまたは操作と区別するためにのみ使用されており、これらのエンティティまたは操作の間にそのような存在が必ずしも必要または暗示されているわけではない。「有する」、「含む」、またはその任意の他の変形という用語は、非排他的な包含をカバーすることを意図し、一連の要素を含むプロセス、方法、物品、またはデバイスがそれらの要素だけでなく、明示的にリストされていない、またはそのようなプロセス、方法、物品、または装置に固有の他の要素も含まれる。さらに限定することなく、「…を含む」という語句によって限定される要素は、その要素を含むプロセス、方法、物品、または装置における追加の同一要素の存在を排除しない。

【0079】

以上、本開示の実施例によって提供される方法および装置について詳細に説明してきたが、本開示の原理および実施形態を説明するために特定の例が使用され、同時に、当業者にとって、本開示の思想によれば、特定の実施形態および適用範囲に変更があり、結論として、本明細書の内容は、本開示を限定するものと解釈されるべきではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【手続補正書】

【提出日】2022-09-16

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ターゲット画像に髪が含まれていない第１の顔マスクグラフを決定し、前記第１の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれていない第１の顔領域を取得するステップと、
前記第１の顔領域の外に予め設定されたグレースケールの色を充填して、予め設定された形状のサンプリングされる画像を生成するステップと、
前記サンプリングされる画像に対してダウンサンプリングを行い、サンプリング結果のうち、前記予め設定されたグレースケールの色のサンプリング結果を除去して、残りのサンプリング結果を取得するステップと、
前記残りのサンプリング結果の色平均値を計算し、予め設定された基準顔色と前記平均値を重み付け加算して、ターゲット色を取得するステップと、
前記ターゲット色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングするステップと、を含む、
ことを特徴とする画像処理方法。

【請求項2】

前記残りのサンプリング結果の色平均値を計算し、予め設定された基準顔色と前記平均値を重み付け加算して、ターゲット色を取得するステップは、
各残りのサンプリング結果の同じ色チャネルの色値の平均値を計算して、各前記色チャネルに対応する色平均値を取得するステップと、
各前記色チャネルに対応する色平均値を、それぞれ基準顔色のうち対応する色チャネルの色と重み付け加算して、各前記色チャネルのターゲット色を取得するステップと、を含む、
ことを特徴とする請求項１に記載の画像処理方法。

【請求項3】

前記残りのサンプリング結果の色平均値を計算し、予め設定された基準顔色と前記平均値を重み付け加算して、ターゲット色を取得するステップは、
各残りのサンプリング結果の色平均値を計算するステップと、
前記平均値と予め設定された色閾値の差を計算するステップと、
前記差が予め設定された差閾値より小さいことに基づいて、第１の予め設定された重みで予め設定された基準顔色を重み付けし、第２の予め設定された重みで前記平均値を重み付けし、重み付け和を計算して、ターゲット色を取得するステップであって、前記第１の予め設定された重みは、前記第２の予め設定された重みよりも小さいステップと、
前記差が予め設定された差閾値より大きいことに基づいて、前記第１の予め設定された重みを増やし、及び／又は前記第２の予め設定された重みを減らし、増やされた第１の予め設定された重みで予め設定された基準顔色を重み付けし、減らされた第２の予め設定された重みで前記平均値を重み付けし、重み付け和を計算して、ターゲット色を取得するステップと、を含む、
ことを特徴とする請求項１に記載の画像処理方法。

【請求項4】

前記ターゲット色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングするステップは、
前記第１の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれていない第１の顔領域を決定するステップと、
前記ターゲット色に基づいて、前記第１の顔領域内のピクセルをレンダリングするステップと、を含む、
ことを特徴とする請求項１に記載の画像処理方法。

【請求項5】

前記ターゲット色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングするステップは、
前記ターゲット画像の顔キーポイントを取得し、前記顔キーポイントに基づいて髪が含まれる第２の顔マスクグラフを決定するステップと、
前記第２の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれる第２の顔領域を決定するステップと、
前記ターゲット色に基づいて、前記第２の顔領域内のピクセルをレンダリングするステップと、を含む、
ことを特徴とする請求項１に記載の画像処理方法。

【請求項6】

前記ターゲット画像は、連続するマルチフレーム画像のｋ番目のフレーム画像であり、ｋは１より大きい整数であり、
前記ターゲット色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングするステップは、
前記ｋ番目のフレーム画像の前のフレーム画像のターゲット色を取得するステップと、
前記ｋ番目のフレーム画像のターゲット色と前記ｋ番目のフレーム画像の前のフレーム画像のターゲット色を重み付け加算するステップと、
重み付け加算された色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングするステップと、を含む、
ことを特徴とする請求項１～５のいずれかに記載の画像処理方法。

【請求項7】

ターゲット画像に髪が含まれていない第１の顔マスクグラフを決定し、前記第１の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれていない第１の顔領域を取得する第１の顔決定モジュールと、
前記第１の顔領域の外に予め設定されたグレースケールの色を充填して、予め設定された形状のサンプリングされる画像を生成する画像生成モジュールと、
前記サンプリングされる画像に対してダウンサンプリングを行い、サンプリング結果のうち、予め設定されたグレースケールの色のサンプリング結果を除去して、残りのサンプリング結果を取得するダウンサンプリングモジュールと、
前記残りのサンプリング結果の色平均値を計算し、予め設定された基準顔色と前記平均値を重み付け加算して、ターゲット色を取得する計算モジュールと、
前記ターゲット色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングするレンダリングモジュールと、を含む、
ことを特徴とする画像処理装置。

【請求項8】

電子機器であって、
プロセッサと、
前記プロセッサで実行可能な命令を記憶するメモリとを含み、
前記プロセッサは、
ターゲット画像に髪が含まれていない第１の顔マスクグラフを決定し、前記第１の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれていない第１の顔領域を取得する操作と、
前記第１の顔領域の外に予め設定されたグレースケールの色を充填して、予め設定された形状のサンプリングされる画像を生成する操作と、
前記サンプリングされる画像に対してダウンサンプリングを行い、サンプリング結果のうち、前記予め設定されたグレースケールの色のサンプリング結果を除去して、残りのサンプリング結果を取得する操作と、
前記残りのサンプリング結果の色平均値を計算し、予め設定された基準顔色と前記平均値を重み付け加算して、ターゲット色を取得する操作と、
前記ターゲット色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングする操作と、を実現するために前記命令を実行するように構成される、
ことを特徴とする電子機器。

【請求項9】

記憶媒体であって、
前記記憶媒体内の命令が電子機器のプロセッサによって実行されると、前記電子機器は、
ターゲット画像に髪が含まれていない第１の顔マスクグラフを決定し、前記第１の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれていない第１の顔領域を取得する操作と、
前記第１の顔領域の外に予め設定されたグレースケールの色を充填して、予め設定された形状のサンプリングされる画像を生成する操作と、
前記サンプリングされる画像に対してダウンサンプリングを行い、サンプリング結果のうち、前記予め設定されたグレースケールの色のサンプリング結果を除去して、残りのサンプリング結果を取得する操作と、
前記残りのサンプリング結果の色平均値を計算し、予め設定された基準顔色と前記平均値を重み付け加算して、ターゲット色を取得する操作と、
前記ターゲット色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングする操作と、を実行する、
ことを特徴とする記憶媒体。

【請求項10】

コンピュータプログラムであって、
前記記憶媒体内の命令がプロセッサによって実行されると、前記プロセッサは、
ターゲット画像に髪が含まれていない第１の顔マスクグラフを決定し、前記第１の顔マスクグラフに基づいて、前記ターゲット画像に髪が含まれていない第１の顔領域を取得する操作と、
前記第１の顔領域の外に予め設定されたグレースケールの色を充填して、予め設定された形状のサンプリングされる画像を生成する操作と、
前記サンプリングされる画像に対してダウンサンプリングを行い、サンプリング結果のうち、前記予め設定されたグレースケールの色のサンプリング結果を除去して、残りのサンプリング結果を取得する操作と、
前記残りのサンプリング結果の色平均値を計算し、予め設定された基準顔色と前記平均値を重み付け加算して、ターゲット色を取得する操作と、
前記ターゲット色に基づいて、前記ターゲット画像の顔領域内のピクセルをレンダリングする操作と、を実行する、
ことを特徴とするコンピュータプログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００９

【補正方法】変更

【補正の内容】

【0009】

本開示の実施例による第５の態様は、コンピュータプログラムを提供し、コンピュータプログラムが読み取り可能な記憶媒体に記憶され、デバイスの少なくとも１つのプロセッサが読み取り可能な記憶媒体からコンピュータプログラムを読み込んで実行することにより、デバイスは前記実施例のいずれかに記載の画像処理方法を実行する。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００６３

【補正方法】変更

【補正の内容】

【0063】

本開示の実施例は、コンピュータプログラムをさらに提供し、前記コンピュータプログラムが読み取り可能な記憶媒体に記憶され、デバイスの少なくとも１つのプロセッサが読み取り可能な記憶媒体からコンピュータプログラムを読み込んで実行することにより、デバイスは前記実施例のいずれかに記載の画像処理方法を実行する。

【国際調査報告】